核心要点
三层架构分离关注点：编排层（任务拆解与协调）、路由层（模型选择与负载均衡）、执行层（模型调用与重试）。编排层只关心"需要什么能力"，不关心"用哪个模型"。路由层根据模型注册表（能力标签、定价、SLA、健康状态）做智能选择。执行层封装各供应商SDK差异，提供统一调用接口。
四种编排设计模式：串行链（固定流程、强依赖）、并行扇出（独立子任务）、条件路由（差异化处理）、动态图（探索性任务）。选择原则：从简单开始，复杂度由任务需求驱动而非技术炫技。
三级降级体系：模型级（切换备选模型，需prompt格式兼容）、能力级（退回本地小模型如Gemma 4 12B，需定义功能降级映射）、功能级（关闭非核心功能，需预先定义功能优先级并与业务方达成共识）。降级链必须经过充分测试，至少每月一次全链路演练。
成本优化三板斧：Token预算管理（全局日预算→单任务预算→单步骤预算）、智能路由（成本效率分数=质量分数/单价，非关键路径优先选择成本效率高的模型）、缓存策略（幂等性高的请求缓存响应，需设置TTL避免过时信息）。
简要回答
多模型编排的核心是三层架构（编排/路由/执行）+四种设计模式+三级降级体系+成本优化三板斧。目标：在满足SLA前提下将成本降低60-75%，并在模型不可用时保持服务可用。
标准回答
一、三层架构分离关注点
编排层是Agent的"大脑"，负责理解任务意图、拆解子任务、协调执行顺序。编排层不关心具体用哪个模型——它只关心"这个任务需要什么能力"。路由层是编排层和执行层之间的桥梁，接收编排层的"能力需求"，根据当前模型状态（可用性、成本、延迟、质量指标）选择最合适的模型实例。路由层的核心是模型注册表，记录所有可用模型的元数据：能力标签、定价、SLA、健康状态。执行层是实际调用模型的地方，封装各模型供应商的SDK差异，提供统一的调用接口。
二、四种编排设计模式
串行链：任务按固定顺序依次执行，前一个步骤的输出作为后一个步骤的输入。优点是流程清晰、易于调试；缺点是总延迟等于各步骤延迟之和。并行扇出：当任务的多个子任务之间没有依赖关系时，可以并行执行。优点是总延迟等于最慢子任务的延迟。条件路由：根据输入特征或中间结果，动态选择不同的执行路径。优点是资源利用率高、成本可控。动态图：执行路径不是预定义的，而是由Agent根据任务进展动态决定。优点是灵活性最高；缺点是难以调试、难以预测成本和延迟。
三、三级降级体系
模型级降级：当首选模型不可用时，自动切换到能力相近的备选模型。实现要点：备选模型的prompt格式必须兼容，或者你的适配器层能够自动转换。能力级降级：当所有前沿模型都不可用时，退回到较小的本地模型。功能级降级：当所有模型都无法满足质量要求时，系统优雅地关闭非核心功能。
四、成本优化框架
Token预算管理：为每个Agent任务设置token上限，防止无限循环或异常消耗。智能路由的成本维度：路由层在选择模型时，除了考虑能力和可用性，还应该考虑成本。缓存策略：对于幂等性高的请求，缓存模型响应可以显著降低成本。
常见误区
⚠️ 常见踩坑
只背概念不会举例；混淆相似术语；忽略工程落地约束。
追问
追问 1：当模型API突然不可用时，agentic工作流如何实现优雅降级而不丢失上下文？
优雅降级的关键是上下文保持机制。第一，设计统一的上下文存储层，将对话历史、中间状态、任务进度与具体模型解耦——降级时只需切换模型，上下文完整保留。第二，为每个模型编写适配器，负责将统一上下文格式转换为目标模型的prompt格式。第三，降级链应该预先配置并按优先级排序：首选模型→次选模型→第三选模型→本地模型。第四，降级触发时立即记录日志并发送告警，同时标记"降级模式"以便业务层调整期望（如降低响应质量要求）。第五，降级恢复后需要上下文同步——将降级期间的交互历史同步回主模型，避免信息断层。
追问 2：如何评估多模型编排系统的ROI？成本节省和质量损失之间如何权衡？
ROI评估需要对比三个维度：成本、质量、可用性。成本维度：对比单模型架构和多模型架构的总拥有成本（TCO），包括API费用、基础设施成本、运维人力。质量维度：用标准评测集对比单模型和多模型路由的任务成功率，计算质量损失（如果有）。可用性维度：统计降级事件次数、持续时间、对业务指标的影响。权衡方法：为每个业务场景设定质量底线（如任务成功率不低于90%），在满足质量底线的前提下选择成本最低的方案。如果某个降级路径导致质量低于底线，应该触发告警并人工介入，而非自动降级。
🔗 相似问题
同一考点的不同问法，换着练更稳
没找到想看的面试题？把你想看的告诉我们 →
延伸学习
按主题分类的相关资源，便于系统复习
