Muyan-TTS

1. 开源了两个模型：1）在多样化长音频数据集上预训练的基础模型，能实现零样本TTS合成；2）在单一说话人上进行监督微调（SFT）的模型，以此提升TTS性能。

2. 提供了详细的训练方法：提供了从base模型在单一speaker语音数据上微调得到SFT模型的训练方法，也开源了全部的训练代码，以满足开发者对于更深层研究的需求。

3. 提供了优化推理效率的框架：我们开发了一个加速的TTS推理框架，尤其优化LLM组件，能够更快速、更高效生成语音。

4. 英语上具有良好性能的同时推理效率极高：每1s语音生成仅需0.33秒推理时间，为所有开源模型中最快。同时词错率、语音质量评分都处于开源模型的一线水平。

Muyan-TTS在建模架构上，延续了GPT-SoVITS的两阶段结构，并作出如下调整：

• 语言模型部分以Llama-3.2-3B为backbone继续预训练，具备更强的语义建模能力。

• 解码器部分使用 SoVITS 架构，在大规模高质量长音频数据上进行了微调，提高合成音频表现力与保真度的同时，也保持了稳定性并削弱了因LLM所带来的幻觉。

这样的模型设计在保证合成质量的同时，兼顾了个性化能力和运行效率，适配多种音频内容形式，如主持人旁白、访谈复刻、语音摘要等。

为了优化Muyan-TTS在长音频生成场景下的表现，我们构建了超过10万小时的高质量语音及对应转录的训练语料。数据处理采用三阶段流程：

• 收集与转录：结合开源数据集与自建数据源采集，基于最大化覆盖说话人数和语言的差异性的目标，每个音频被分割成1分钟的片段均匀采样，收集了超过15万小时的原始数据并使用Whisper和Fun ASR进行转录；

• 音频清洗：引入MSS、DeReverb、DeEcho、Denoise、NeMo等模块，仅保留人声轨道、单speaker、过滤背景噪声与混响、进一步提升语音的清晰度和可理解性；

• 质量过滤：使用 NISQA 评估每段音频的MOS分数，仅保留MOS>3.8内容。

最终数据集通过 NVIDIA A10 机器完成预处理，总清洗时长约为 60,000 GPU小时。

我们的训练分为三个阶段：

阶段一：基于清洗的语音-文本平行语料继续预训练大语言模型，获取zero-shot TTS的能力。在80张A100组成的计算集群上训练了约10天。

阶段二：在单一speaker数据上基于base模型SFT，提升特定声音的合成效果。训练成本相比预训练可以忽略不计。

阶段三：SoVITS解码器微调，对高质量长音频片段（MOS>4.5）进行专向训练，强化语音自然度与清晰度。

整个训练过程消耗的资源与成本如下：

针对LLM在推理端的高延迟痛点，Muyan-TTS构建了一套系统性优化方案：一方面，深度集成vLLM推理引擎，充分释放大语言模型的并行计算潜力，显著提升推理效率；另一方面，创新引入动态句长切分与批量处理合成技术，有效减少资源等待时间，增强处理灵活性。

经实测验证，在非流式推理模式下，Muyan-TTS的语音合成效率表现卓越——平均每生成1秒语音仅需0.33秒推理时间，相比同类开源TTS模型具有显著性能优势，为实时语音交互场景提供了更高效的解决方案。

我们相信就像《her》中的Samantha，语音会成为人和AI交互的核心方式，并使每个人都能拥有随时可交流的AI朋友。

Muyan-TTS只是我们在语音技术上一个非常微小的尝试，无论是模型结构、数据制备和训练方法都还有很大的改良空间，我们也期待对语音技术有爱好、愿意深度研究TTS和实时语音交互等领域的朋友能够一起加入这个行列。