HuggingFace Speech-to-Speech
HuggingFace 开源语音代理框架，4.7K+ stars。用开源模型构建本地语音 Agent，支持语音输入→LLM 处理→语音输出的完整链路，无需依赖云端 API
🎯适用场景：构建本地语音对话 Agent，避免依赖云端语音 API
📥 收录于 2026/5/27
📊 仓库数据
✅ 优点
- •全链路开源，可本地离线运行
- •HuggingFace 生态模型选择多
- •适合语音 Agent 原型验证
- •ASR+LLM+TTS 模块化清晰
⚠️ 限制
- •实时延迟取决于本地硬件
- •开源模型音质/准确率参差
- •多组件联调配置较繁琐
- •生产级稳定性需自行优化
🔗 相关工具
Dia
github.com/nari-labs/dia
一次推理生成超真实对话式 TTS 语音的模型，19k+ stars
🎯生成自然的对话式语音输出，适合播客、有声书和 AI 语音助手
Dograh
github.com/dograh-hq/dograh
开源语音 Agent 平台，2500+ stars。支持实时语音通话、外呼、TTS/STT、WebRTC 等能力，基于 FastAPI + Next.js 构建，自托管友好的语音 AI 基础设施
🎯构建语音客服系统，智能外呼，语音 AI 客服自动化
Real-Time Voice Cloning
github.com/corentinj/real-time-voice-cloning
5 秒语音克隆工具，59,640+ stars。只需 5 秒音频样本即可克隆任意人声，支持实时语音合成，是语音合成和 TTS 领域的里程碑项目
🎯语音合成与实时语音交互
GPT-SoVITS
github.com/RVC-Boss/GPT-SoVITS
1 分钟数据训练 TTS，56,826+ stars。强大的少样本语音克隆和文本转语音工具，仅需 1 分钟参考音频即可训练出高质量 TTS 模型，支持多语言和中日英三语合成
🎯语音合成与实时语音交互
Coqui TTS
github.com/coqui-ai/TTS
深度学习 TTS 工具包，45,126+ stars。基于深度学习的文本转语音工具包，支持多种 TTS 模型训练和推理，提供高质量自然语音合成能力
🎯语音合成与实时语音交互
ChatTTS
github.com/2noise/ChatTTS
日常对话生成语音模型，39,109+ stars。专为对话场景优化的文本转语音模型，生成自然流畅的语音，支持多种声音风格和情感表达
🎯语音合成与实时语音交互