ESPnet
端到端语音处理开源工具包，覆盖语音识别、语音合成、说话人分离、语音翻译和歌声合成等全场景能力
🎯适用场景：语音识别、TTS 合成、语音翻译等端到端语音应用的研发与部署
📥 收录于 2026/6/6
📊 仓库数据
✅ 优点
- •端到端方案覆盖语音全场景
- •学术论文级代码质量
- •多语种支持广泛
⚠️ 限制
- •研究导向，工程化包装不足
- •配置和依赖管理较复杂
🔗 相关工具
OpenAI Whisper
github.com/openai/whisper
OpenAI 开源语音识别模型，99.9K+ stars。支持 99 种语言自动语音识别与翻译，可本地部署保护隐私，广泛用于会议转录、字幕生成等场景
🎯多语言语音转文字、音频转录、本地私有化语音识别
Voicebox
github.com/jamiepine/voicebox
Voicebox 是开源的语音合成工作室，提供高质量的文本转语音 (TTS) 能力。支持多语言、多音色、情感化语音生成，22,208 stars（周增 5,198 星）。与商业 TTS 服务不同，Voicebox 完全开源可自部署，提供 Web UI 和 API 两种使用方式。支持声音克隆（少量样本即可）、实时流式输出、SSML 标记语言控制韵律和语调，是播客制作、有声书生成、游戏配音和 AI 语音助手的理想选择
🎯播客/有声书自动化、游戏 NPC 配音、AI 语音助手、视频内容配音、无障碍朗读
VoxCPM2
github.com/OpenBMB/VoxCPM
VoxCPM2 是由清华大学和 OpenBMB 联合开源的无 Tokenizer 语音合成模型。不同于传统 TTS 模型先将文本转为 token 再生成语音的流程，VoxCPM2 直接从字符映射到音频波形，消除了 Tokenizer 环节带来的信息损失。2B 参数规模，支持 30 种语言、48kHz 录音棚级音质、零样本语音克隆（仅需 3 秒参考音频即可复刻音色）和创意声音设计。GitHub 15K+ stars，是 2026 年最值得关注的开源 TTS 项目之一。与 Voicebox 互补——VoxCPM2 偏重学术创新和无 Tokenizer 架构探索，Voicebox 偏重工程实用和用户体验
🎯开源 TTS 研究、中文语音合成、有声书/播客自动化、语音克隆实验、AI 助手语音输出、多语言内容本地化配音
pyVideoTrans
github.com/jianchang512/pyvideotrans
视频翻译工具，自动翻译视频并嵌入配音和字幕，17k+ stars
🎯将视频从一种语言翻译到另一种语言并嵌入配音和字幕
FunASR
github.com/modelscope/FunASR
阿里 ModelScope 出品的工业级语音识别工具包，170 倍实时、50+ 语言、说话人分离、情绪检测、流式识别，并提供 OpenAI 兼容 API。16K+ stars，是中文语音 AI 的标杆项目
🎯语音识别转写、会议记录自动转录、智能客服语音理解
SenseVoice
github.com/FunAudioLLM/SenseVoice
多语言语音理解模型，8.2K+ stars。支持 ASR 语音识别、音频事件检测、跨语言理解和情感检测，是 FunAudioLLM 系列的语音理解模型
🎯多语言语音识别和音频内容理解