WhisperX
Whisper 增强版语音识别工具,支持词级时间戳和说话人分离(Diarization)。在 OpenAI Whisper 基础上大幅提升语音转文字精度,是 AI 语音处理流水线的标准组件。22K stars
🎯适用场景:多模态内容理解与生成
📊 仓库数据
📈 Stars 变化 ↑2 天 +20· 统计区间 7/18 23:22 → 7/20 20:02(2 天)
✅ 优点
- •词级时间戳精准对齐
- •说话人分离提升多人场景识别
- •兼容 Whisper 生态
- •Python API 简单易用
⚠️ 限制
- •需要 GPU 加速才高效
- •非英语语种精度略降
- •大规模音频处理需要优化
🔗 相关工具
Whisper.cpp
github.com/ggml-org/whisper.cpp
OpenAI Whisper C/C++ 移植,48,793+ stars。高性能语音识别引擎,将 OpenAI Whisper 移植到 C/C++,支持 99 种语言的语音转文字,CPU 即可高效运行
🎯多模态内容理解与生成
OpenAI Whisper
github.com/openai/whisper
OpenAI 开源语音识别模型,99.9K+ stars。支持 99 种语言自动语音识别与翻译,可本地部署保护隐私,广泛用于会议转录、字幕生成等场景
🎯多语言语音转文字、音频转录、本地私有化语音识别
FunASR
github.com/modelscope/FunASR
阿里 ModelScope 出品的工业级语音识别工具包,170 倍实时、50+ 语言、说话人分离、情绪检测、流式识别,并提供 OpenAI 兼容 API。16K+ stars,是中文语音 AI 的标杆项目
🎯语音识别转写、会议记录自动转录、智能客服语音理解
pyVideoTrans
github.com/jianchang512/pyvideotrans
视频翻译工具,自动翻译视频并嵌入配音和字幕,17k+ stars
🎯将视频从一种语言翻译到另一种语言并嵌入配音和字幕
Voice-Pro
github.com/abus-aikorea/voice-pro
AI 语音处理全栈 WebUI,10K+ stars。集成 TTS、零样本语音克隆、Whisper 语音识别、Demucs 音轨分离等能力
🎯语音合成、语音克隆、播客/有声书制作、多语言翻译配音
SenseVoice
github.com/FunAudioLLM/SenseVoice
多语言语音理解模型,8.2K+ stars。支持 ASR 语音识别、音频事件检测、跨语言理解和情感检测,是 FunAudioLLM 系列的语音理解模型
🎯多语言语音识别和音频内容理解
