全双工语音(Full-Duplex Voice)
全双工语音能同时听说的语音 AI
亦作、亦称:Full-Duplex Voice · Full-Duplex · 全双工交互 · 实时语音 AI
全双工语音是一种允许 AI 与用户同时进行语音输入和输出的交互架构,区别于传统半双工的「你说完我再说」模式。通过实时 VAD、流式推理、并行编解码三大技术,将说话人切换延迟降至 200ms 以下——这是用户感知「自然对话」的阈值,标志着语音 AI 从「工具」向「对话伙伴」的范式转变。
三大技术突破
全双工语音的实现依赖三项关键技术。第一,实时 VAD(Voice Activity Detection):传统 VAD 只检测用户说话的开始/结束,全双工系统需要持续监听音频流,实时判断当前是用户在说话、AI 在说话、还是双方在「重叠」。这个判断必须在毫秒级完成(延迟 < 50ms),否则会出现 AI 在用户说话时继续说的尴尬情况。维基百科定义 VAD 为「检测人类语音存在与否的技术」,主要用于语音编码、说话人分离(Diarization)和语音识别。
第二,流式推理(Streaming Inference):LLM 必须支持 token-by-token 的流式输出,TTS 必须支持边接收文本边合成语音。传统方案等 LLM 生成完整回复再交给 TTS,全双工方案让 LLM 每生成一个句子就立即交给 TTS 处理,大幅降低首字节延迟(TTFB)。据 Pipecat 流式流水线文档,首段 TTFB 可降至约 370ms。
第三,并行编解码(Parallel Codec):音频编解码器必须支持同时编码(用户输入)和解码(AI 输出),而不是传统的半双工切换。这需要专门的音频编解码器设计,或在软件层面实现全双工模式。
半双工 vs 全双工对比
半双工(Half-Duplex)架构:采用 ASR→LLM→TTS 三段式串行流水线。ASR 必须等用户说完才能输出完整文本;LLM 必须等 ASR 完成才能开始推理;TTS 必须等 LLM 生成文本才能开始合成语音。优势是组件可独立开发测试部署(如 ASR 用 Whisper、LLM 用 GPT-4o、TTS 用 ElevenLabs),劣势是串行等待时间无法消除,且无法处理用户中途打断。
全双工(Full-Duplex)架构:通过实时 VAD 持续监听、流式推理 token-by-token 输出、并行编解码同时处理输入输出,实现毫秒级说话人切换。优势是用户体验自然流畅(延迟 < 200ms)、支持自然打断;劣势是架构复杂度高,需要专门的音频编解码器和流式处理管道。
关键指标对比:说话人切换延迟(半双工 1-3 秒 vs 全双工 < 200ms)、打断处理(半双工忽略或丢失上下文 vs 全双工原生支持)、首字节延迟 TTFB(半双工 1-3 秒 vs 全双工 < 400ms)。
2026 年产品与框架
OpenAI GPT-Live:2026 年推出的全双工语音模型,支持实时对话与自然打断,是 ChatGPT 语音模式的核心技术。
Google Gemini Live:Google 的全双工语音助手,据 NVIDIA PersonaPlex 技术博客分析,说话人切换延迟约 1260ms——虽已优化但仍高于 200ms 的自然对话阈值,说明全双工技术的工程挑战。
Pipecat:开源的全双工语音 AI 框架,提供流式流水线组件,支持实时 VAD、流式推理、并行编解码。据其官方文档,首段 TTFB 可降至约 370ms。
评估标准:选择全双工语音方案时,核心指标是说话人切换延迟(< 200ms 用户才感觉自然)、打断处理延迟(< 100ms)、VAD 判断延迟(< 50ms)。
常见误解
日常交流中容易听到的简化说法,未必准确,但能帮助理解误解从何而来。
- 「能同时听说的语音 AI」
- 「像真人一样流畅对话」
相关术语
和本术语关联紧密的其他词条,便于串联理解。
🎯 考点练习
含该术语的高频面试题,含标准答案与追问。
- 高级场景查看详解 →
多模态(图文)微调中如何确保文本和图像数据的对齐质量?
高质量图文配对、表征对比对齐、防模态坍塌,并用检索/VQA 指标验证对齐效果。
- 中级场景查看详解 →
如何用 AI 做票据 / 证件的 OCR 信息提取?
OCR 或多模态大模型读图拿文本,再用 LLM 按 schema 抽字段并校验,模糊手写需置信度和人工复核。
- 初级场景查看详解 →
如何给产品加一个「语音转文字」功能?
接 ASR 服务(如 Whisper),处理音频格式/长音频分段,区分实时流式与批量,注意噪声与专名。
- 中级概念查看详解 →
语音识别(ASR)的主流方法有哪些(CTC / Whisper)?
CTC 逐帧预测并用 blank 实现对齐无关解码;Whisper 是 seq2seq Transformer,靠大规模弱监督数据训练。
延伸阅读
从知识库精选 1 篇文章,帮助深入理解该术语。
外部参考
维基百科:查看「全双工语音」词条本页内容为本站原创撰写;维基百科链接仅作延伸参考。
