核心要点
全双工 vs 半双工的本质区别：半双工是轮流说（对讲机），全双工是同时听说（电话）。传统三段式流水线（ASR→LLM→TTS）的串行依赖导致 1-3 秒延迟，全双工架构通过并行处理将延迟降至接近实时。
三大技术突破：1) 实时 VAD——持续监听音频流，毫秒级判断用户/AI/重叠状态，判断延迟需低于 50ms。2) 流式推理——LLM 支持 token-by-token 流式输出，TTS 边接收文本边合成，首段 TTFB 降至约 370ms。3) 并行编解码——音频编解码器同时编码（用户输入）和解码（AI 输出）。
GPT-Live 的后台推理委托：前台模型（GPT-Live-1/mini）负责实时对话，后台模型（GPT-5.5）负责深度推理。遇到复杂问题时前台委托后台处理，同时用自然语言过渡保持对话流。双层架构解耦了对话体验和推理能力，可独立迭代。
工程挑战：音频回声消除（AEC，消除 AI 自身声音避免误识别）、算力分配（四模型并行运行的边缘/云端权衡）、对话状态管理（多轮重叠打断的上下文维护）、隐私合规（持续监听的敏感场景处理）。
简要回答
全双工语音 AI 依赖实时 VAD、流式推理、并行编解码三大突破，GPT-Live 增加后台推理委托形成双层架构（前台快对话 + 后台深推理），将说话人切换延迟从半双工的 1-3 秒降至接近实时。
标准回答
一、全双工架构的核心突破
全双工语音 AI 的核心是让系统同时听和说。传统半双工方案（ASR→LLM→TTS 三段流水线）的串行依赖导致 1-3 秒延迟，且无法处理打断。全双工架构需要三大突破：
- 实时 VAD：持续监听音频流，毫秒级判断当前是用户在说、AI 在说、还是双方重叠。判断延迟需低于 50ms，否则 AI 会在用户说话时继续说。2) 流式推理：LLM 支持 token-by-token 流式输出，TTS 边接收文本边合成语音，首段 TTFB 可降至约 370ms（Pipecat 数据）。3) 并行编解码：音频编解码器同时编码用户输入和解码 AI 输出，而非传统的半双工切换。
二、GPT-Live 的后台推理委托
GPT-Live 在前述三大突破之上，增加了第四个创新：后台推理委托。前台模型（GPT-Live-1/mini）负责实时对话交互，后台模型（GPT-5.5）负责深度推理。当遇到需要搜索或复杂推理的问题时，前台模型在后台调用 GPT-5.5，同时用「让我查一下」等过渡语保持对话流。
这种双层架构的精妙之处在于解耦：前台和后台可独立迭代，升级 GPT-5.5 到 GPT-6 不影响语音体验，优化前台模型不触动推理逻辑。算力分配也更灵活：昂贵推理算力集中在后台，前台用轻量模型降低延迟和成本。
三、工程挑战
四个核心挑战：1) 回声消除（AEC）——AI 说话时麦克风同时捕捉用户声音，必须实时消除 AI 自身声音避免误识别，全双工场景下声音高度重叠使 AEC 更困难。2) 算力分配——四模型（VAD/ASR/LLM/TTS）并行运行，边缘设备算力受限，云端方案引入网络延迟。3) 对话状态管理——用户中途打断、改变话题、同时问多个问题时，系统需维护清晰的对话状态。4) 隐私合规——全双工意味着麦克风始终监听，医疗/金融/儿童场景需设计清晰的激活机制。
常见误区
⚠️ 常见踩坑
只背概念不会举例；混淆相似术语；忽略工程落地约束。
追问
追问 1：全双工语音 AI 的实时 VAD 如何区分用户是在思考停顿还是在等待 AI 回复？
区分思考停顿和等待回复是 VAD 的核心难题，需要多信号融合判断：1) 声学特征——思考停顿通常伴随填充词（嗯、啊）、呼吸声、语调下降；等待回复则语调上扬、有明显的结束信号。2) 语义特征——如果用户说了一半句子（如「我觉得这个方案...」），更可能是思考停顿；如果说了完整句子（如「你觉得呢？」），更可能是等待回复。3) 上下文特征——结合对话历史判断，如果 AI 刚问了一个问题，用户的停顿更可能是思考。4) 时长阈值——通常思考停顿 1-3 秒，超过 3 秒可能是等待回复。实践中需要训练专门的分类模型，初始阶段保守处理（宁可多等也不打断），逐步优化。
没找到想看的面试题？把你想看的告诉我们 →
延伸学习
按主题分类的相关资源，便于系统复习
