VoiceCanvas 是开源的多语言语音合成平台。基于 AI 技术提供高质量的文字转语音服务,支持超过 50 种语言,集成 OpenAI TTS、AWS Polly 和 MiniMax 等多种语音服务。VoiceCanvas 提供个人声音克隆功能,用户上传几秒音频样本能创建个性化声音。VoiceCanvas适合内容创作者、教育工作者和企业用户,显著提升语音内容制作效率。

VoiceCanvas的主要功能

  • 多语言支持:支持超过 50 种语言 的语音合成,满足不同语言需求。
  • 语音合成:集成OpenAI TTS、AWS Polly、MiniMax,提供高质量语音输出。
  • 语音克隆:上传音频样本即可克隆个性化声音。
  • 文件处理:支持文本文件上传和音频文件下载,能处理长文本。
  • 用户系统:支持注册、登录及第三方登录(Google、GitHub),界面支持多语言和主题切换。

VoiceCanvas的技术原理

  • 语音合成技术:
    • 基于深度学习的语音生成:VoiceCanvas 用深度学习模型将文本转换为自然语音。这些模型通过大量的语音数据训练,学习语言的韵律、语调和发音规则,生成接近人类的语音。
    • 多语音服务集成:为确保语音质量和稳定性,VoiceCanvas 集成多种语音服务,OpenAI TTS提供高质量自然语音,支持多种声音风格,AWS Polly支持多语言和多种声音选择,MiniMax优化中文语音合成,支持语音克隆功能。
  • 语音克隆技术:
    • 声音特征提取:用户上传几秒的音频样本后,系统基于深度学习算法提取声音的特征(如音色、语调、节奏等),特征被编码为模型的输入参数。
    • 个性化语音生成:基于提取的特征,系统用深度学习模型生成与用户声音高度相似的语音。这一过程需要大量的数据和复杂的模型训练,确保克隆声音的自然度和一致性。

VoiceCanvas的项目地址

FunAudio-ASR-阿里巴巴推出FunAudio-ASR语音识别大模型

FunAudio-ASR-阿里巴巴推出FunAudio-ASR语音识别大模型

<p><span style="color: rgb(108, 117, 125); background-color: rgb(255, 255, 255); font-size: 14px;">阿里巴巴推出</span><a href="https://ai-bot.cn/funaudio-asr/" target="_blank" style="text-align: left;">FunAudio-ASR</a><span style="color: rgb(108, 117, 125); background-color: rgb(255, 255, 255); font-size: 14px;">语音识别大模型,专为解决企业落地难题。模型通过创新的Context增强模块,有效优化了“幻觉”“串语种”等关键问题。在高噪声等复杂场景下,其识别准确率显著提升,幻觉率从78.5%降至10.7%。</span></p><p style="text-align: justify;">目前,FunAudio-ASR 已在钉钉的“AI听记”、视频会议、DingTalk A1硬件等多个场景中应用,验证了其在真实企业环境中的稳定性和高精度识别能力,特别是在垂直行业专业术语、高噪声环境等复杂场景下的表现。<span style="color: rgb(108, 117, 125); background-color: rgb(255, 255, 255); font-size: 14px;"><br></span></p><p style="text-align: justify;">技术报告</p><p style="text-align: justify;">https://github.com/FunAudioLLM/FunAudioLLM.github.io/blob/master/pdf/FunAudio-ASR.pdf<br></p>

OmniAudio

OmniAudio

<p>OmniAudio 是阿里巴巴通义实验室语音团队推出的从360°视频生成空间音频(FOA)的技术。为虚拟现实和沉浸式娱乐提供更真实的音频体验。通过构建大规模数据集Sphere360,包含超过10.3万个视频片段,涵盖288种音频事件,总时长288小时,为模型训练提供了丰富资源。OmniAudio 的训练分为两个阶段:自监督的coarse-to-fine流匹配预训练,基于大规模非空间音频资源进行自监督学习;以及基于双分支视频表示的有监督微调,强化模型对声源方向的表征能力。</p> <h2 style="font-size: 20px;">OmniAudio的项目地址</h2> <ul> <li>项目官网:<a class="external" href="https://omniaudio-360v2sa.github.io/?utm_source=medsci" target="_blank" rel="noopener">https://omniaudio-360v2sa.github.io/</a></li> <li>Github仓库:<a class="external" href="https://github.com/liuhuadai/OmniAudio" target="_blank" rel="noopener nofollow">https://github.com/liuhuadai/OmniAudio</a></li> <li>arXiv技术论文:<a class="external" href="https://arxiv.org/pdf/2504.14906" target="_blank" rel="noopener nofollow">https://arxiv.org/pdf/2504.14906</a></li> </ul>

deepvo.ai

deepvo.ai

多语言效率工具,支持高精度录音转文本、智能会议总结和自动思维导图生成,覆盖110+语言。办公场景中应用广泛,适合会议和文档处理。