全双工语音(Full-Duplex Voice)

全双工语音

能同时听说的语音 AI

亦作、亦称:Full-Duplex Voice · Full-Duplex · 全双工交互 · 实时语音 AI

全双工语音是一种允许 AI 与用户同时进行语音输入和输出的交互架构,区别于传统半双工的「你说完我再说」模式。通过实时 VAD、流式推理、并行编解码三大技术,将说话人切换延迟降至 200ms 以下——这是用户感知「自然对话」的阈值,标志着语音 AI 从「工具」向「对话伙伴」的范式转变。

三大技术突破

全双工语音的实现依赖三项关键技术。第一,实时 VAD(Voice Activity Detection):传统 VAD 只检测用户说话的开始/结束,全双工系统需要持续监听音频流,实时判断当前是用户在说话、AI 在说话、还是双方在「重叠」。这个判断必须在毫秒级完成(延迟 < 50ms),否则会出现 AI 在用户说话时继续说的尴尬情况。维基百科定义 VAD 为「检测人类语音存在与否的技术」,主要用于语音编码、说话人分离(Diarization)和语音识别。

第二,流式推理(Streaming Inference):LLM 必须支持 token-by-token 的流式输出,TTS 必须支持边接收文本边合成语音。传统方案等 LLM 生成完整回复再交给 TTS,全双工方案让 LLM 每生成一个句子就立即交给 TTS 处理,大幅降低首字节延迟(TTFB)。据 Pipecat 流式流水线文档,首段 TTFB 可降至约 370ms。

第三,并行编解码(Parallel Codec):音频编解码器必须支持同时编码(用户输入)和解码(AI 输出),而不是传统的半双工切换。这需要专门的音频编解码器设计,或在软件层面实现全双工模式。

半双工 vs 全双工对比

半双工(Half-Duplex)架构:采用 ASR→LLM→TTS 三段式串行流水线。ASR 必须等用户说完才能输出完整文本;LLM 必须等 ASR 完成才能开始推理;TTS 必须等 LLM 生成文本才能开始合成语音。优势是组件可独立开发测试部署(如 ASR 用 Whisper、LLM 用 GPT-4o、TTS 用 ElevenLabs),劣势是串行等待时间无法消除,且无法处理用户中途打断。

全双工(Full-Duplex)架构:通过实时 VAD 持续监听、流式推理 token-by-token 输出、并行编解码同时处理输入输出,实现毫秒级说话人切换。优势是用户体验自然流畅(延迟 < 200ms)、支持自然打断;劣势是架构复杂度高,需要专门的音频编解码器和流式处理管道。

关键指标对比:说话人切换延迟(半双工 1-3 秒 vs 全双工 < 200ms)、打断处理(半双工忽略或丢失上下文 vs 全双工原生支持)、首字节延迟 TTFB(半双工 1-3 秒 vs 全双工 < 400ms)。

2026 年产品与框架

OpenAI GPT-Live:2026 年推出的全双工语音模型,支持实时对话与自然打断,是 ChatGPT 语音模式的核心技术。

Google Gemini Live:Google 的全双工语音助手,据 NVIDIA PersonaPlex 技术博客分析,说话人切换延迟约 1260ms——虽已优化但仍高于 200ms 的自然对话阈值,说明全双工技术的工程挑战。

Pipecat:开源的全双工语音 AI 框架,提供流式流水线组件,支持实时 VAD、流式推理、并行编解码。据其官方文档,首段 TTFB 可降至约 370ms。

评估标准:选择全双工语音方案时,核心指标是说话人切换延迟(< 200ms 用户才感觉自然)、打断处理延迟(< 100ms)、VAD 判断延迟(< 50ms)。

常见误解

日常交流中容易听到的简化说法,未必准确,但能帮助理解误解从何而来。

  • 「能同时听说的语音 AI」
  • 「像真人一样流畅对话」

相关术语

和本术语关联紧密的其他词条,便于串联理解。

🎯 考点练习

含该术语的高频面试题,含标准答案与追问。

延伸阅读

从知识库精选 1 篇文章,帮助深入理解该术语。

  1. 1

    全双工语音交互技术解析:从半双工轮到全双工

    全双工语音 AI 依赖三大技术突破:实时 VAD、流式推理、并行编解码。本文从半双工流水线的局限性出发,拆解全双工架构的核心组件与工程挑战,帮助开发者理解 GPT-Live 背后的技术栈及其对应用场景的影响。

外部参考

维基百科:查看「全双工语音」词条

本页内容为本站原创撰写;维基百科链接仅作延伸参考。