标准回答
一、为什么需要 AI Gateway
单一模型依赖有四重风险：供应商锁定（定价权/供应稳定性受制于人）、能力盲区（没有模型在所有任务都最优）、单点失败（一个模型限流拖垮整条业务线）、议价能力丧失。AI Gateway 通过引入统一中间层，让业务与具体模型解耦，把"用哪个模型"变成可动态决策的运行时问题。
二、整体架构分层
数据面（Data Plane）：高吞吐的请求代理层，负责转发、流式输出、重试，要求低延迟、无状态、可水平扩展。控制面（Control Plane）：集中管理路由策略、模型注册表、凭证、配额、审计策略。可观测层：全量结构化日志、指标、追踪。三者分离，数据面不依赖控制面做同步重决策（策略可缓存到本地）。
三、智能路由设计
路由决策维度：①任务类型——代码生成路由到代码强模型，简单分类路由到廉价小模型；②SLA 等级——高优先级请求路由到稳定性最好的模型；③成本预算——在满足质量前提下选最便宜的；④实时可用性——根据各模型当前健康度加权。实现上可用"规则引擎 + 实时健康度加权"，并支持按请求元数据（用户等级、任务标签）动态决策。
四、故障降级与韧性
为每个路由决策配置有序 fallback 链：主模型失败→备选模型→降级模型（能力弱但稳定）。配合熔断器（Circuit Breaker）避免对故障模型的无效重试，配合超时与重试预算防止雪崩。关键是"默认安全降级"——宁可返回能力稍弱的结果，也不能让请求彻底失败。
五、成本与配额管控
按租户/应用/用户设置 token 预算与速率上限，Gateway 在转发前做配额校验，超限即拒绝或排队。结合语义缓存（相似请求复用结果）进一步降本。
六、安全治理（加分项）
Gateway 作为安全控制点：统一注入委托链元数据、执行工具调用白名单与参数策略、记录全量审计日志、对高危操作熔断。"Agent 无密钥、Gateway 掌密钥"——Agent 不直接持有外部凭证，所有外部访问由 Gateway 代理，大幅缩小 Agent 被劫持后的爆炸半径。
常见误区
⚠️ 常见踩坑
误区一：把 Gateway 做成"胖代理"。把所有逻辑（路由、鉴权、审计、计费）都塞进数据面同步路径，导致延迟飙升、单点瓶颈。正确做法是数据面轻量转发 + 控制面集中策略 + 策略本地缓存。误区二：路由只看成本。只选最便宜的模型会牺牲质量，应按"任务类型 + SLA + 成本 + 可用性"多维加权。误区三：降级链缺失或过深。没有 fallback 等于把韧性押在单一模型上；fallback 链过深又会拖长尾延迟，一般 2-3 层为宜。误区四：忽视安全维度。只把 Gateway 当性能组件，忽略它是工具调用治理与审计的最佳控制点，会留下安全治理空白。
追问
追问 1：如何设计路由策略，在质量、成本、延迟之间做权衡？
核心是"多维加权 + 分级"。①先分级——按 SLA 把请求分成高/中/低优先级，高优先级优先保质量与稳定，低优先级优先保成本。②多维打分——为每个候选模型在质量、成本、延迟、可用性四个维度打分，按该优先级等级的权重加权求和，选总分最高者。③质量兜底——设质量下限，低于下限的模型无论多便宜都不选。④动态调整——根据实时健康度和预算消耗速度动态调权重。本质是把"单一最优"问题变成"约束下的多目标优化"。
追问 2：模型供应商突然限流或停服，Gateway 如何保证业务不中断？
靠"熔断 + fallback + 降级"三件套。①熔断器——检测到某模型错误率/超时率超阈值即熔断，停止向其转发，避免无效重试放大故障。②fallback 链——每个路由决策预配置有序备选模型，主模型熔断后自动切到备选。③降级模式——极端情况下切到能力弱但稳定的兜底模型，或返回缓存结果，保证"有响应"。④预防——平时就维持多供应商接入和容量预热，避免冷切换时的延迟尖峰。关键是默认安全降级——宁可弱响应，不可无响应。
追问 3：AI Gateway 如何与 Agent 安全治理结合？
Gateway 天然是 Agent 安全治理的控制点。①委托链注入——所有 Agent 调用经 Gateway，由 Gateway 统一校验身份并注入"谁授权了谁"的委托链元数据。②工具调用治理——Gateway 在工具调用真正执行前做白名单校验、参数策略拦截、速率/预算熔断。③全量审计——所有流量经 Gateway 自然形成结构化审计日志，支撑取证与合规。④密钥收敛——"Agent 无密钥、Gateway 掌密钥"，Agent 不直接持有外部凭证，被劫持后无法直接访问外部系统，爆炸半径大幅缩小。性能控制点与安全控制点是同一枚硬币的两面。
🔗 相似问题
同一考点的不同问法，换着练更稳
延伸学习
按主题分类的相关资源，便于系统复习