Kimi-Audio，这是一个开源音频基础模型，在音频理解、生成和对话方面表现出色。此存储库包含 Kimi-Audio 的官方实现、模型和评估工具包。 通用功能：处理语音识别（ASR）、音频问答（AQA）、音频字幕（AAC）、语音情感识别（SER）、声音事件/场景分类（SEC/ASC）和端到端语音对话等多种任务。 最先进的性能：在众多音频基准测试中取得 SOTA 结果（参见评估和技术报告）。 大规模预训练：对超过 1300 万小时的不同音频数据（语音、音乐、声音）和文本数据进行预训练，实现强大的音频推理和语言理解。 新颖的架构：采用混合音频输入（连续声学+离散语义标记）和具有并行头的 LLM 核心，用于文本和音频标记生成。 高效推理：具有基于流匹配的分块流式去标记器，可生成低延迟音频。 开源：我们发布代码、模型检查点和综合评估工具包，以促进社区研究和开发。 架构概述 Kimi-Audio 由三个主要组件组成： 音频标记器：将输入音频转换为： 使用矢量量化的离散语义标记（12.5Hz）。 来自 Whisper 编码器的连续声学特征（下采样至 12.5Hz）。 音频 LLM：基于转换器的模型（由预训练的文本 LLM（如 Qwen 2.5 7B）初始化），具有处理多模态输入的共享层，然后是并行头，用于自回归生成文本标记和离散音频语义标记。 音频解析器：使用流匹配模型和声码器（BigVGAN）将预测的离散语义音频标记转换回高保真波形，支持分块流传输，并采用前瞻机制实现低延迟。
相关推荐
AiVOOV - Text to Speech Solution
AiVOOV: AI voices convert text to audio with 900+ options in 125+ languages.
DupDub
Convert text into realistic human-like voices with DupDub Voice Generator.
Tangia
Supercharge chat engagement on your stream.
TopMediai®
AI-powered online media tools for video, audio, and photos.
Speechify
Speechify is a popular text-to-speech app for Chrome, iOS, and Android.
Speechify Studio - AI Voice Generator
Create engaging artificial intelligence (AI) voiceovers for any type of project: videos, ads, e-learning, audiobooks, dubbing, among others. Speechify AI Voice Generator, with its 200+ voices across more than 60 languages, features voice cloning, emotional tuning, and speed control, adapting perfectly to meet every requirement. Enjoy over 1000+ natural, lifelike AI voices across 60+ languages and every accent you need. Use features like emotional control, voice cloning, our pronunciation library, and pauses. You can try it for free.
ElevenLabs
Generate high-quality AI voices in minutes.