Circleboom

KrillinAI

<p><a href="https://github.com/krillinai/KrillinAI/blob/master/docs/images/logo.png" target="_blank" rel="noopener noreferrer"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://github.com/krillinai/KrillinAI/raw/master/docs/images/logo.png"></a></p> <div class="markdown-heading" dir="auto"> <p>极简部署AI视频翻译配音工具</p> <p> </p> </div> <p>KrillinAI-一款AI视频翻译配音工具 提供了从视频下载，音频提取，音频转录，文本切割，翻译，对齐，到最终合成适配抖音，哔哩哔哩，小红书，视频号，快手等主流平台格式的一站式解决方案。</p> <p>基于AI大模型的视频翻译和配音工具，专业级翻译，一键部署全流程，可以生成适配抖音，小红书，哔哩哔哩，视频号，TikTok，Youtube Shorts等形态的内容</p> <div class="markdown-heading" dir="auto"> <h2 class="heading-element" dir="auto" tabindex="-1">项目简介</h2> <a id="user-content-项目简介" class="anchor" href="https://github.com/krillinai/KrillinAI/blob/master/docs/zh/README.md#%E9%A1%B9%E7%9B%AE%E7%AE%80%E4%BB%8B" aria-label="Permalink: 项目简介"></a></div> <p>Krillin AI 是一款全能型音视频本地化与增强解决方案。这款简约而强大的工具，集音视频翻译、配音、语音克隆于一身，支持横竖屏格式输出，确保在所有主流平台（哔哩哔哩，小红书，抖音，视频号，快手，YouTube，TikTok等）都能完美呈现。通过端到端的工作流程，Krillin AI 仅需点击几次，就能将原始素材转化为精美即用的跨平台内容。</p> <div class="markdown-heading" dir="auto"> <h2 class="heading-element" dir="auto" tabindex="-1">主要特点与功能：</h2> <a id="user-content-主要特点与功能" class="anchor" href="https://github.com/krillinai/KrillinAI/blob/master/docs/zh/README.md#%E4%B8%BB%E8%A6%81%E7%89%B9%E7%82%B9%E4%B8%8E%E5%8A%9F%E8%83%BD" aria-label="Permalink: 主要特点与功能："></a></div> <p>🎯 一键启动：无需复杂的环境配置，自动安装依赖，立即投入使用，新增桌面版本，使用更便捷！</p> <p>📥 视频获取：支持yt-dlp下载或本地文件上传</p> <p>📜 精准识别：基于Whisper的高准确度语音识别</p> <p>🧠 智能分段：使用LLM进行字幕分段和对齐</p> <p>🔄 术语替换：一键替换专业领域词汇</p> <p>🌍 专业翻译：基于LLM，段落级翻译保持语义连贯性</p> <p>🎙️ 配音克隆：提供CosyVoice精选音色或自定义音色克隆</p> <p>🎬 视频合成：自动处理横竖版视频和字幕排版</p> <div class="markdown-heading" dir="auto"> <h2 class="heading-element" dir="auto" tabindex="-1">效果展示</h2> <a id="user-content-效果展示" class="anchor" href="https://github.com/krillinai/KrillinAI/blob/master/docs/zh/README.md#%E6%95%88%E6%9E%9C%E5%B1%95%E7%A4%BA" aria-label="Permalink: 效果展示"></a></div> <p>下图为46分钟的本地视频导入，一键执行后生成的字幕文件入轨后的效果，无任何手动调整。无缺失、重叠，断句自然，翻译质量也非常高。 <a href="https://github.com/krillinai/KrillinAI/blob/master/docs/images/alignment.png" target="_blank" rel="noopener noreferrer"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://github.com/krillinai/KrillinAI/raw/master/docs/images/alignment.png"></a></p> <table> <tbody> <tr> <td width="33%"> <div class="markdown-heading" dir="auto"> <h3 class="heading-element" dir="auto" tabindex="-1">字幕翻译</h3> <a id="user-content-字幕翻译" class="anchor" href="https://github.com/krillinai/KrillinAI/blob/master/docs/zh/README.md#%E5%AD%97%E5%B9%95%E7%BF%BB%E8%AF%91" aria-label="Permalink: 字幕翻译"></a></div> <hr> <details class="details-reset border rounded-2" open=""> <summary class="px-3 py-2"> subtitle_translation.mp4 </summary> <video class="d-block rounded-bottom-2 border-top width-fit appl1-hdvd-xx" src="https://private-user-images.githubusercontent.com/114557800/397901813-bba1ac0a-fe6b-4947-b58d-ba99306d0339.mp4?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3NDcxODIzNjAsIm5iZiI6MTc0NzE4MjA2MCwicGF0aCI6Ii8xMTQ1NTc4MDAvMzk3OTAxODEzLWJiYTFhYzBhLWZlNmItNDk0Ny1iNThkLWJhOTkzMDZkMDMzOS5tcDQ_WC1BbXotQWxnb3JpdGhtPUFXUzQtSE1BQy1TSEEyNTYmWC1BbXotQ3JlZGVudGlhbD1BS0lBVkNPRFlMU0E1M1BRSzRaQSUyRjIwMjUwNTE0JTJGdXMtZWFzdC0xJTJGczMlMkZhd3M0X3JlcXVlc3QmWC1BbXotRGF0ZT0yMDI1MDUxNFQwMDIxMDBaJlgtQW16LUV4cGlyZXM9MzAwJlgtQW16LVNpZ25hdHVyZT1lZGI2NDM1ZGMwZDc4NmY3ZGYzOGUxMGVmZTBhMTRmMTQwYjkyOTI0YzY0NzYzMjljNTgyYTQ2NWE4YTI0OTExJlgtQW16LVNpZ25lZEhlYWRlcnM9aG9zdCJ9.lpQ2H_RHelnrC2PoulhYq4QXbuVh64AnTSQ4Sfs3pVk" muted="muted" controls="controls" width="300" height="150"></video></details> </td> <td width="33%"> <div class="markdown-heading" dir="auto"> <h3 class="heading-element" dir="auto" tabindex="-1">配音</h3> <a id="user-content-配音" class="anchor" href="https://github.com/krillinai/KrillinAI/blob/master/docs/zh/README.md#%E9%85%8D%E9%9F%B3" aria-label="Permalink: 配音"></a></div> <hr> <details class="details-reset border rounded-2" open=""> <summary class="px-3 py-2"> tts.mp4 </summary> <video class="d-block rounded-bottom-2 border-top width-fit appl1-hdvd-xx" src="https://private-user-images.githubusercontent.com/114557800/398046711-0b32fad3-c3ad-4b6a-abf0-0865f0dd2385.mp4?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3NDcxODIzNjAsIm5iZiI6MTc0NzE4MjA2MCwicGF0aCI6Ii8xMTQ1NTc4MDAvMzk4MDQ2NzExLTBiMzJmYWQzLWMzYWQtNGI2YS1hYmYwLTA4NjVmMGRkMjM4NS5tcDQ_WC1BbXotQWxnb3JpdGhtPUFXUzQtSE1BQy1TSEEyNTYmWC1BbXotQ3JlZGVudGlhbD1BS0lBVkNPRFlMU0E1M1BRSzRaQSUyRjIwMjUwNTE0JTJGdXMtZWFzdC0xJTJGczMlMkZhd3M0X3JlcXVlc3QmWC1BbXotRGF0ZT0yMDI1MDUxNFQwMDIxMDBaJlgtQW16LUV4cGlyZXM9MzAwJlgtQW16LVNpZ25hdHVyZT04Y2UzNDVkMWU4MDU3ZThjMTNjMWRlYWExYzBjMWFiMzU0ZGMzYWJmZjE0NTVhNDdjYjI2NGU0OTRlMWQyZDA5JlgtQW16LVNpZ25lZEhlYWRlcnM9aG9zdCJ9.V2SlYbas5_YXgwb_espHedIPITT2rNVM0KR1qwC5eIE" muted="muted" controls="controls" width="300" height="150"></video></details> </td> <td width="33%"> <div class="markdown-heading" dir="auto"> <h3 class="heading-element" dir="auto" tabindex="-1">竖屏</h3> <a id="user-content-竖屏" class="anchor" href="https://github.com/krillinai/KrillinAI/blob/master/docs/zh/README.md#%E7%AB%96%E5%B1%8F" aria-label="Permalink: 竖屏"></a></div> <hr> <details class="details-reset border rounded-2" open=""> <summary class="px-3 py-2"> agi.mp4 </summary> <video class="d-block rounded-bottom-2 border-top width-fit appl1-hdvd-xx" src="https://private-user-images.githubusercontent.com/2296937/431338176-c2c7b528-0ef8-4ba9-b8ac-f9f92f6d4e71.mp4?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3NDcxODIzNjAsIm5iZiI6MTc0NzE4MjA2MCwicGF0aCI6Ii8yMjk2OTM3LzQzMTMzODE3Ni1jMmM3YjUyOC0wZWY4LTRiYTktYjhhYy1mOWY5MmY2ZDRlNzEubXA0P1gtQW16LUFsZ29yaXRobT1BV1M0LUhNQUMtU0hBMjU2JlgtQW16LUNyZWRlbnRpYWw9QUtJQVZDT0RZTFNBNTNQUUs0WkElMkYyMDI1MDUxNCUyRnVzLWVhc3QtMSUyRnMzJTJGYXdzNF9yZXF1ZXN0JlgtQW16LURhdGU9MjAyNTA1MTRUMDAyMTAwWiZYLUFtei1FeHBpcmVzPTMwMCZYLUFtei1TaWduYXR1cmU9MzhkZDI1YTE3MmRhYTUzMzYxNDViMGU0MmE1NzBmM2FlZWMzZGQ4NjQyZGY1MTMzNzQ0Njk2OTMxZGE3ZTdiZSZYLUFtei1TaWduZWRIZWFkZXJzPWhvc3QifQ.GuZM6ERkd8mjTDLIu-FO-Tpi53QPt5nQFNqvb0BLpgg" muted="muted" controls="controls" width="300" height="150"></video></details> </td> </tr> </tbody> </table> <div class="markdown-heading" dir="auto"> <h2 class="heading-element" dir="auto" tabindex="-1">🔍 语音识别服务支持</h2> <a id="user-content--语音识别服务支持" class="anchor" href="https://github.com/krillinai/KrillinAI/blob/master/docs/zh/README.md#-%E8%AF%AD%E9%9F%B3%E8%AF%86%E5%88%AB%E6%9C%8D%E5%8A%A1%E6%94%AF%E6%8C%81" aria-label="Permalink: 🔍 语音识别服务支持"></a></div> <p>下表中的本地模型全部支持自动安装可执行文件+模型文件，你只要选择，其它的KrillinAI帮你全部准备完毕。</p> <table> <thead> <tr> <th>服务源</th> <th>支持平台</th> <th>模型可选项</th> <th>本地/云端</th> <th>备注</th> </tr> </thead> <tbody> <tr> <td>OpenAI Whisper</td> <td>全平台</td> <td>-</td> <td>云端</td> <td>速度快效果好</td> </tr> <tr> <td>FasterWhisper</td> <td>Windows/Linux</td> <td><code>tiny</code>/<code>medium</code>/<code>large-v2</code> (推荐medium+)</td> <td>本地</td> <td>速度更快，无云服务开销</td> </tr> <tr> <td>WhisperKit</td> <td>macOS (仅限M系列芯片)</td> <td><code>large-v2</code></td> <td>本地</td> <td>Apple芯片原生优化</td> </tr> <tr> <td>阿里云ASR</td> <td>全平台</td> <td>-</td> <td>云端</td> <td>避免中国大陆网络问题</td> </tr> </tbody> </table> <div class="markdown-heading" dir="auto"> <h2 class="heading-element" dir="auto" tabindex="-1">🚀 大语言模型支持</h2> <a id="user-content--大语言模型支持" class="anchor" href="https://github.com/krillinai/KrillinAI/blob/master/docs/zh/README.md#-%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E6%94%AF%E6%8C%81" aria-label="Permalink: 🚀 大语言模型支持"></a></div> <p>✅ 兼容所有符合 OpenAI API规范 的云端/本地大语言模型服务，包括但不限于：</p> <ul dir="auto"> <li>OpenAI</li> <li>DeepSeek</li> <li>通义千问</li> <li>本地部署的开源模型</li> <li>其他兼容OpenAI格式的API服务</li> </ul> <div class="markdown-heading" dir="auto"> <h2 class="heading-element" dir="auto" tabindex="-1">语言支持</h2> <a id="user-content-语言支持" class="anchor" href="https://github.com/krillinai/KrillinAI/blob/master/docs/zh/README.md#%E8%AF%AD%E8%A8%80%E6%94%AF%E6%8C%81" aria-label="Permalink: 语言支持"></a></div> <p>输入语言支持：中文，英文，日语，德语，土耳其，韩语，俄语，马来语（持续增加中）</p> <p>翻译语言支持：英文，中文，俄语，西班牙语，法语等101种语言</p> <div class="markdown-heading" dir="auto"> <h2 class="heading-element" dir="auto" tabindex="-1">界面预览</h2> <a id="user-content-界面预览" class="anchor" href="https://github.com/krillinai/KrillinAI/blob/master/docs/zh/README.md#%E7%95%8C%E9%9D%A2%E9%A2%84%E8%A7%88" aria-label="Permalink: 界面预览"></a></div> <p><a href="https://github.com/krillinai/KrillinAI/blob/master/docs/images/ui_desktop.png" target="_blank" rel="noopener noreferrer"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://github.com/krillinai/KrillinAI/raw/master/docs/images/ui_desktop.png"></a></p> <div class="markdown-heading" dir="auto"> <h2 class="heading-element" dir="auto" tabindex="-1">🚀 快速开始</h2> <a id="user-content--快速开始" class="anchor" href="https://github.com/krillinai/KrillinAI/blob/master/docs/zh/README.md#-%E5%BF%AB%E9%80%9F%E5%BC%80%E5%A7%8B" aria-label="Permalink: 🚀 快速开始"></a></div> <div class="markdown-heading" dir="auto"> <h3 class="heading-element" dir="auto" tabindex="-1">基本步骤</h3> <a id="user-content-基本步骤" class="anchor" href="https://github.com/krillinai/KrillinAI/blob/master/docs/zh/README.md#%E5%9F%BA%E6%9C%AC%E6%AD%A5%E9%AA%A4" aria-label="Permalink: 基本步骤"></a></div> <p>首先下载<a href="https://github.com/krillinai/KrillinAI/releases">Release</a>中与你设备系统匹配的可执行文件，按照下面的教程选择桌面版还是非桌面版，然后放入空文件夹，把软件下载到一个空文件夹，因为运行之后会生成一些目录，放到空文件夹会好管理一些。</p> <p>【如果是桌面版，即release文件带desktop的看此处】<br>桌面版是新发布的，为了解决新手用户难以正确编辑配置文件的问题，还有不少bug，持续更新中</p> <ol dir="auto"> <li>双击文件即可开始使用(桌面端也是需要配置的，在软件内配置)</li> </ol> <p>【如果是非桌面版，即release文件不带desktop的看此处】<br>非桌面版是一开始的版本，配置比较复杂，但是功能稳定，同时适合服务器部署，因为会以web的方式提供ui</p> <ol dir="auto"> <li>在文件夹内创建<code>config</code>文件夹，然后在<code>config</code>文件夹创建<code>config.toml</code>文件，复制源代码<code>config</code>目录下的<code>config-example.toml</code>文件的内容填入<code>config.toml</code>，并对照填写你的配置信息。</li> <li>双击，或在终端执行可执行文件，启动服务</li> <li>打开浏览器，输入<code>http://127.0.0.1:8888</code>，开始使用 (8888替换成你在配置文件中填写的端口)</li> </ol> <div class="markdown-heading" dir="auto"> <h3 class="heading-element" dir="auto" tabindex="-1">To: macOS用户</h3> <a id="user-content-to-macos用户" class="anchor" href="https://github.com/krillinai/KrillinAI/blob/master/docs/zh/README.md#to-macos%E7%94%A8%E6%88%B7" aria-label="Permalink: To: macOS用户"></a></div> <p>【如果是桌面版，即release文件带desktop的看此处】<br>桌面端目前打包方式由于签名等问题，还不能够做到双击直接运行或者dmg安装，需要手动信任应用，方法如下：</p> <ol dir="auto"> <li>在终端打开可执行文件（假设文件名是KrillinAI_1.0.0_desktop_macOS_arm64）所在目录</li> <li>依次执行以下命令：</li> </ol> <div class="snippet-clipboard-content notranslate position-relative overflow-auto"> <pre class="notranslate"><code>sudo xattr -cr ./KrillinAI_1.0.0_desktop_macOS_arm64 sudo chmod +x ./KrillinAI_1.0.0_desktop_macOS_arm64 ./KrillinAI_1.0.0_desktop_macOS_arm64 </code></pre> <div class="zeroclipboard-container"> </div> </div> <p>【如果是非桌面版，即release文件不带desktop的看此处】<br>本软件没有做签名，因此在macOS上运行时，在完成“基本步骤”中的文件配置后，还需要手动信任应用，方法如下：</p> <ol dir="auto"> <li>在终端打开可执行文件（假设文件名是KrillinAI_1.0.0_macOS_arm64）所在目录</li> <li>依次执行以下命令： <div class="snippet-clipboard-content notranslate position-relative overflow-auto"> <pre class="notranslate"><code> sudo xattr -rd com.apple.quarantine ./KrillinAI_1.0.0_macOS_arm64 sudo chmod +x ./KrillinAI_1.0.0_macOS_arm64 ./KrillinAI_1.0.0_macOS_arm64 </code></pre> <div class="zeroclipboard-container"> </div> </div> 即可启动服务</li> </ol> <div class="markdown-heading" dir="auto"> <h3 class="heading-element" dir="auto" tabindex="-1">Docker部署</h3> <a id="user-content-docker部署" class="anchor" href="https://github.com/krillinai/KrillinAI/blob/master/docs/zh/README.md#docker%E9%83%A8%E7%BD%B2" aria-label="Permalink: Docker部署"></a></div> <p>本项目支持Docker部署，请参考<a href="https://github.com/krillinai/KrillinAI/blob/master/docs/zh/docker.md">Docker部署说明</a></p> <div class="markdown-heading" dir="auto"> <h3 class="heading-element" dir="auto" tabindex="-1">Cookie配置说明(非必选)</h3> <a id="user-content-cookie配置说明非必选" class="anchor" href="https://github.com/krillinai/KrillinAI/blob/master/docs/zh/README.md#cookie%E9%85%8D%E7%BD%AE%E8%AF%B4%E6%98%8E%E9%9D%9E%E5%BF%85%E9%80%89" aria-label="Permalink: Cookie配置说明(非必选)"></a></div> <p>如果你遇到视频下载失败的情况</p> <p>请参考 <a href="https://github.com/krillinai/KrillinAI/blob/master/docs/zh/get_cookies.md">Cookie 配置说明</a> 配置你的Cookie信息。</p> <div class="markdown-heading" dir="auto"> <h3 class="heading-element" dir="auto" tabindex="-1">配置帮助（必看）</h3> <a id="user-content-配置帮助必看" class="anchor" href="https://github.com/krillinai/KrillinAI/blob/master/docs/zh/README.md#%E9%85%8D%E7%BD%AE%E5%B8%AE%E5%8A%A9%E5%BF%85%E7%9C%8B" aria-label="Permalink: 配置帮助（必看）"></a></div> <p>最快速便捷的配置方式：</p> <ul dir="auto"> <li><code>transcription_provider</code>和<code>llm_provider</code>都选择<code>openai</code>，这样在下方<code>openai</code>、<code>local_model</code>、<code>aliyun</code>三个配置项大类里只需要填写<code>openai.apikey</code>就可以进行字幕翻译。(<code>app.proxy</code>、<code>model</code>和<code>openai.base_url</code>按自己情况选填)</li> </ul> <p>使用本地语言识别模型（暂不支持macOS）的配置方式（兼顾成本、速度与质量的选择）</p> <ul dir="auto"> <li><code>transcription_provider</code>填写<code>fasterwhisper</code>，<code>llm_provider</code>填写<code>openai</code>，这样在下方<code>openai</code>、<code>local_model</code>三个配置项大类里只需要填写<code>openai.apikey</code>和<code>local_model.faster_whisper</code>就可以进行字幕翻译，本地模型会自动下载。(<code>app.proxy</code>和<code>openai.base_url</code>同上)</li> </ul> <p>以下几种使用情况，需要进行阿里云的配置：</p> <ul dir="auto"> <li>如果<code>llm_provider</code>填写了<code>aliyun</code>，需要使用阿里云的大模型服务，因此需要配置<code>aliyun.bailian</code>项的配置</li> <li>如果<code>transcription_provider</code>填写了<code>aliyun</code>，或者在启动任务时开启了“配音”功能，都需要使用阿里云的语音服务，因此需要填写<code>aliyun.speech</code>项的配置</li> <li>如果开启了“配音”功能，同时上传了本地的音频做音色克隆，则还需要使用阿里云的OSS云存储服务，因此需要填写<code>aliyun.oss</code>项的配置<br>阿里云配置帮助：<a href="https://github.com/krillinai/KrillinAI/blob/master/docs/zh/aliyun.md">阿里云配置说明</a></li> </ul> <div class="markdown-heading" dir="auto"> <h2 class="heading-element" dir="auto" tabindex="-1">常见问题</h2> <a id="user-content-常见问题" class="anchor" href="https://github.com/krillinai/KrillinAI/blob/master/docs/zh/README.md#%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98" aria-label="Permalink: 常见问题"></a></div> <p>请移步<a href="https://github.com/krillinai/KrillinAI/blob/master/docs/zh/faq.md">常见问题</a></p> <p> </p>