核心要点
三条路线架构差异：SeedRealtime 端到端统一音视频 LLM、FLUX 3 统一 transformer 骨干、MAI Realtime 语音全双工补位
全双工 vs 半双工：同时处理输入流和输出流 vs 串行处理链（ASR→LLM→TTS）
延迟阈值：人类对话轮流间隔中位数 200ms，超过 500ms 感知为不自然
工程瓶颈：延迟预算分配、流式计算开销、打断处理的对话状态管理
简要回答
全双工多模态是 2026 年 8 月的关键产业化拐点。ByteDance SeedRealtime 走端到端统一音视频 LLM 路线，将感知、理解、决策和回应生成放在单一模型内完成，消除级联管线延迟，已部署到豆包 1.55 亿周活用户。Black Forest Labs FLUX 3 走统一 transformer 骨干路线，用 Self-Flow 训练范式覆盖图像/视频/音频/动作四种模态，更偏向生成侧统一。Microsoft MAI Realtime 专注语音全双工补位，填补 MAI 模型家族的端到端语音对话缺口。三者共同证明：多模态 AI 的下一个竞争维度不是模态数量，而是交互循环速度。
标准回答
一、三条技术路线的架构差异
SeedRealtime（ByteDance）走端到端统一音视频 LLM 路线。感知、理解、决策和回应生成在单一模型内完成，消除 ASR→LLM→TTS 级联管线的模块间延迟。核心创新是主动交互能力——模型可以在用户停顿时提出澄清问题，而非被动等待输入。已部署到豆包 1.55 亿周活用户，是消费级验证的生产系统。
FLUX 3（Black Forest Labs）走统一 transformer 骨干路线。用单一架构覆盖图像生成、视频合成、音频创建和动作预测四种模态。核心创新是 Self-Flow 训练范式——结合 flow matching 与自监督特征重建。更偏向生成侧的多模态统一，而非交互侧的全双工。
MAI Realtime（Microsoft）走语音全双工补位路线。补全 MAI 模型家族的端到端语音对话缺口，从分离的 MAI-Transcribe-1.5 和 MAI-Voice-2 走向原生语音到语音对话。支持 16 种语言自由切换。
二、三者解决的工程问题
延迟问题：半双工串行处理链（ASR 200ms + LLM 500ms + TTS 300ms = 1000ms）在全双工场景不可接受。SeedRealtime 通过端到端统一架构将延迟压缩到 200-400ms 区间。
计算开销问题：全双工意味着持续处理输入流和输出流，GPU 利用率接近恒定而非脉冲式。并发容量受限于 GPU 常驻内存而非峰值吞吐。
打断处理问题：用户可以在模型说话时打断，模型需要在用户说话时观察并调整回应策略。这需要对话状态的持续建模和时机（conversational timing）管理。
三、产业判断
多模态 AI 的下一个竞争维度不是「能处理多少种模态」，而是「能在多快的循环里持续交互」。认知科学研究表明人类对话轮流间隔中位数约 200ms，超过 500ms 就被感知为不自然。全双工架构是跨越这个自然阈值的关键。
常见误区
⚠️ 常见踩坑
误区一：容易把三条路线混为一谈。SeedRealtime 和 MAI Realtime 都解决交互侧的全双工问题，但前者是音视频统一，后者只专注语音；FLUX 3 解决的是生成侧的多模态碎片化问题，对延迟容忍度更高。误区二：容易忽略部署状态差异。SeedRealtime 已亿级用户验证，FLUX 3 API 可用但开放模型未发布，MAI Realtime 仍在隐藏预览。
追问
追问 1：全双工系统的延迟预算如何分配？
端到端延迟目标必须控制在 200-400ms 以内。每个处理阶段——感知编码、语义理解、决策生成、输出合成——的延迟预算都被压缩到极限。SeedRealtime 通过端到端统一架构消除模块间通信开销，将感知、理解、决策和回应生成放在单一模型内完成；FLUX 3 作为生成侧模型对延迟容忍度更高，生成 20 秒视频的总时间可以是几十秒，关键是生成质量而非实时响应。
追问 2：为什么全双工对推理基础设施的要求截然不同？
半双工是请求到达→处理→返回→等待下一个请求，GPU 利用率呈脉冲式。全双工是持续接收音频/视频帧→持续生成响应→持续输出，GPU 利用率接近恒定。并发容量受限于 GPU 常驻内存而非峰值吞吐。对于豆包这样的亿级用户产品，推理基础设施的成本模型完全不同于传统 LLM 服务，需要重新设计资源调度和弹性扩缩容策略。
追问 3：打断处理的对话状态管理难点在哪？
用户可以在模型说话时打断，模型需要在用户说话时观察并调整回应策略。这需要持续建模对话状态和时机（conversational timing）。SeedRealtime 的端到端统一架构让感知、理解、决策在同一模型内完成，消除了多阶段级联系统引入的信息损失和错误累积，使主动交互能力成为可能——模型可以在用户停顿时提出澄清问题，而非被动等待输入。
🔗 相似问题
同一考点的不同问法，换着练更稳
延伸学习
按主题分类的相关资源，便于系统复习