ESPnet
端到端语音处理开源工具包，覆盖语音识别、语音合成、说话人分离、语音翻译和歌声合成等全场景能力
🎯适用场景：语音识别、TTS 合成、语音翻译等端到端语音应用的研发与部署
📥 收录于 2026/6/6
📊 仓库数据
📈 Stars 变化 ↑2 天 +6· 统计区间 7/18 23:22 → 7/20 20:02（2 天）
✅ 优点
- •端到端方案覆盖语音全场景
- •学术论文级代码质量
- •多语种支持广泛
⚠️ 限制
- •研究导向，工程化包装不足
- •配置和依赖管理较复杂
🔗 相关工具
Voicebox
github.com/jamiepine/voicebox
Voicebox 是开源的语音合成工作室，提供高质量的文本转语音 (TTS) 能力。支持多语言、多音色、情感化语音生成，22,208 stars（周增 5,198 星）。与商业 TTS 服务不同，Voicebox 完全开源可自部署，提供 Web UI 和 API 两种使用方式。支持声音克隆（少量样本即可）、实时流式输出、SSML 标记语言控制韵律和语调，是播客制作、有声书生成、游戏配音和 AI 语音助手的理想选择
🎯播客/有声书自动化、游戏 NPC 配音、AI 语音助手、视频内容配音、无障碍朗读
VoxCPM2
github.com/OpenBMB/VoxCPM
VoxCPM2 是由清华大学和 OpenBMB 联合开源的无 Tokenizer 语音合成模型。不同于传统 TTS 模型先将文本转为 token 再生成语音的流程，VoxCPM2 直接从字符映射到音频波形，消除了 Tokenizer 环节带来的信息损失。2B 参数规模，支持 30 种语言、48kHz 录音棚级音质、零样本语音克隆（仅需 3 秒参考音频即可复刻音色）和创意声音设计。GitHub 15K+ stars，是 2026 年最值得关注的开源 TTS 项目之一。与 Voicebox 互补——VoxCPM2 偏重学术创新和无 Tokenizer 架构探索，Voicebox 偏重工程实用和用户体验
🎯开源 TTS 研究、中文语音合成、有声书/播客自动化、语音克隆实验、AI 助手语音输出、多语言内容本地化配音
pyVideoTrans
github.com/jianchang512/pyvideotrans
视频翻译工具，自动翻译视频并嵌入配音和字幕，17k+ stars
🎯将视频从一种语言翻译到另一种语言并嵌入配音和字幕
GPT-SoVITS
github.com/RVC-Boss/GPT-SoVITS
1 分钟数据训练 TTS，56,826+ stars。强大的少样本语音克隆和文本转语音工具，仅需 1 分钟参考音频即可训练出高质量 TTS 模型，支持多语言和中日英三语合成
🎯语音合成与实时语音交互
ChatTTS
github.com/2noise/ChatTTS
日常对话生成语音模型，39,109+ stars。专为对话场景优化的文本转语音模型，生成自然流畅的语音，支持多种声音风格和情感表达
🎯语音合成与实时语音交互
OpenVoice
github.com/myshell-ai/OpenVoice
MIT 和 MyShell 联合开发的即时语音克隆模型，支持零样本 TTS。只需几秒音频即可克隆声音，跨语言支持英语、中文、日语等
🎯语音内容创作、个性化助手声音、跨语言语音合成
