sherpa-onnx

开源多模态 & 视觉12k↑+9

基于 ONNX 的多平台语音处理引擎,支持语音转文字(ASR)、文字转语音(TTS)、说话人分离、语音增强和 VAD 等功能,可在 Android/iOS/Raspberry Pi/嵌入式设备上运行。(12K+ stars)

🎯适用场景:离线语音识别、嵌入式 TTS、语音助手后端、会议转录

#speech-to-text#text-to-speech#onnx#speech#voice

📊 仓库数据

Stars12,380
Forks1,400
语言C++
协议Apache-2.0
更新2026/5/21

📈 上次抓取以来 ↑+9

优点

  • 跨平台支持极广(Android/iOS/ARM/PC)
  • 完全离线运行,无需网络
  • ASR+TTS+说话人分离一体化

⚠️ 限制

  • 模型体积较大,嵌入式设备需注意存储
  • 文档和社区以英文为主

🔗 相关工具

VibeVoice

开源47k↑+5

github.com/microsoft/VibeVoice

微软开源的前沿语音 AI 模型,支持高质量语音合成与声音克隆,适用于多语种 TTS 与语音交互场景

🎯 机器人控制、仿真与边缘部署、语音合成与实时语音交互

#voice#speech#microsoft#开源
语言Python
🍴 Forks5,280
🔄 更新2026/5/24

MockingBird

开源37k

github.com/babysor/MockingBird

5 秒克隆声音,37K+ stars。5 秒克隆声音生成任意语音的实时语音合成工具,支持多语种语音克隆

🎯 语音合成与实时语音交互

#ai#deep-learning#pytorch#speech+1
语言Python
🍴 Forks5,218
📅 上线2021/8/7
🔄 更新2026/5/23

index-tts

开源21k↑+3

github.com/index-tts/index-tts

工业级可控高效 TTS,4.4K+ stars。工业级可控高效的零样本文本转语音方案,支持语音克隆和风格控制

🎯 机器人控制、仿真与边缘部署、语音合成与实时语音交互

#bigvgan#cross-lingual#indextts#text-to-speech+1
语言Python
🍴 Forks2,558
📅 上线2025/2/6
🔄 更新2026/5/24

Stable Diffusion WebUI

开源163k↑+12

github.com/AUTOMATIC1111/stable-diffusion-webui

最流行的 Stable Diffusion Web UI,162,491+ stars。提供直观的图形界面,支持文生图、图生图、ControlNet、LoRA 微调、Inpainting 等核心功能,是 AI 图像生成领域的事实标准工具

🎯 大模型微调与训练、多模态内容理解与生成

#图像生成#Stable Diffusion#Web UI#开源
语言Python
🍴 Forks30,357
🔄 更新2026/5/24

ComfyUI

开源114k↑+34

github.com/comfyanonymous/ComfyUI

节点式 Diffusion 模型 GUI,109,363+ stars。基于节点的工作流编排,可视化连接各处理模块,是最强大的图像生成工作流工具,支持 SDXL、Flux、Stable Cascade 等最新模型

🎯 AI 工作流编排与自动化、多模态内容理解与生成

#节点式#工作流#图像生成#开源
语言Python
🍴 Forks13,367
🔄 更新2026/5/24

OpenAI Whisper

开源100k↑+14

github.com/openai/whisper

OpenAI 开源语音识别模型,99.9K+ stars。支持 99 种语言自动语音识别与翻译,可本地部署保护隐私,广泛用于会议转录、字幕生成等场景

🎯 多语言语音转文字、音频转录、本地私有化语音识别

#语音识别#多语言#转录
语言Python
🍴 Forks12,289
📅 上线2022/9/16
🔄 更新2026/5/24