API 推理

API 推理将模型计算能力封装为网络服务，调用方只需关注输入输出，无需感知底层硬件。

• 核心模式：用户发送 HTTPS 请求，服务端完成前向传播后返回结果，通常以 token 为单位计费。
• 典型提供商：OpenAI（GPT-4o）、Anthropic（Claude 系列）、Google（Gemini 系列）等闭源模型；Together AI、Fireworks AI、Groq 等提供开权重模型托管。
• 适用场景：快速验证原型（PoC）、请求量波动大的业务、运维能力有限的团队。
• 核心优势：省去硬件采购、显存管理、模型版本维护，弹性扩缩开箱即用。

一次典型的 API 推理调用包含客户端构造请求、网络传输、服务端推理、响应返回四个环节。

• 请求体：包含模型名、消息列表（messages）及采样参数（temperature、top-p 等），以 JSON 格式通过 HTTP POST 发送。
• 连续批处理（Continuous Batching）：服务端将多用户请求动态聚合成 batch 并行推理，提升 GPU 利用率、降低排队延迟。
• 流式返回（Streaming）：通过 Server-Sent Events（SSE） 逐 token 推送结果，减少用户感知的首字等待时间。
• KV 缓存复用：同一会话内历史 token 的注意力键值（KV Cache）可被复用，避免重复计算，降低延迟和成本。
• 计费粒度：通常分别对输入 token 和输出 token 定价，输出 token 单价一般高于输入，因为输出需要逐 token 自回归生成。

根据托管主体和访问方式，API 推理可分为以下几类。

• 闭源模型 API：用户无法获取权重，如 GPT-4o、Claude 3.x、Gemini 1.5；模型能力强但透明度低。
• 开权重模型托管 API：Together AI、Fireworks AI、Groq 等平台托管 Llama、Mistral 等开源模型，兼顾透明度与免运维便利。
• 云厂商托管端点（Managed Endpoint）：AWS Bedrock、Azure OpenAI Service、Google Vertex AI，与企业数据合规体系集成更紧密，便于统一账单管理。
• 批量异步推理（Batch API）：OpenAI、Anthropic 均提供批量接口，适合不追求实时性的大批量任务，价格通常比实时接口低约 50%。
• 统一网关：SiliconFlow、OpenRouter 等提供 OpenAI 兼容接口聚合多个供应商，降低切换成本与供应商锁定风险。

两种模式各有侧重，选择取决于数据敏感度、流量规模和团队运维能力。

• 成本拐点：研究表明，当月均 token 消耗量超过约 110 亿 token（约每天 3.7 亿 token）时，自托管 GPU 的边际成本才可能低于 API 费用；低于此规模时 API 推理更经济。
• 延迟特性：API 推理固有网络往返时延（RTT），高峰期可能出现抖动；自托管在本地 GPU 上可实现更稳定的低延迟，适合实时语音等场景。
• 数据控制：敏感数据（PII、医疗、金融记录）发往第三方服务器需评估合规风险，自托管数据不出本地环境。
• 运维成本：自托管需 DevOps/MLOps 人员维护，每月维护工程投入（10-20 小时）折算费用不可忽视。
• 迁移兼容性：vLLM、SGLang 等自托管框架提供 OpenAI 兼容接口，从 API 推理迁移到自托管几乎无需修改应用代码。

使用 API 推理时有几个容易被忽视的风险点。

• 数据隐私：用户输入经过提供商服务器，医疗、法律、财务等敏感数据使用前必须审查服务协议（如 OpenAI 数据处理协议 DPA）；默认情况下数据可能用于模型改进。
• 供应商锁定（Vendor Lock-in）：不同提供商 API 格式、参数名和行为存在差异（如 Anthropic 与 OpenAI 的 tool call 格式不同），迁移时工程改造成本较高。
• 费用失控：高并发或长上下文场景下费用可能超出预期，需设置用量告警、token 上限和速率限制（Rate Limit）。
• 模型版本漂移：提供商可能静默更新模型导致输出行为变化，生产环境建议锁定具体版本（如 gpt-4o-2024-08-06）并建立评估回归机制。
• 网络依赖：API 推理依赖外部网络连通性，离线或弱网环境无法使用，自托管则不受此限制。

合理使用 API 推理需要在成本、延迟与合规之间做权衡。

• 锁定模型版本：生产环境指定具体模型版本，避免供应商静默升级导致行为漂移，并建立自动化评估回归流程。
• 开启 Prompt Caching：对系统提示词较长的场景启用上下文缓存（Anthropic、OpenAI 均已支持），可节省大量重复输入 token 费用。
• 敏感字段脱敏：在客户端对 PII 进行掩码处理后再发送请求，降低数据泄露风险，满足合规要求。
• 配置备用供应商：通过统一 SDK（如 LiteLLM）配置主备供应商，提升服务可用性，同时保留迁移灵活性。
• 监控与告警：对 token 用量、错误率和 p95 延迟设置监控，及时发现成本异常和质量退化。

大模型 API 推理的商业化进程与大语言模型的发展紧密相连。

• 2020：OpenAI 发布 GPT-3 并以邀请制开放 API，首次将超大规模语言模型能力商业化，API 推理模式正式进入主流视野。
• 2022：ChatGPT 发布（11 月），API 调用量急剧攀升，推理服务成为 AI 基础设施核心；各大云厂商开始布局 AI 推理托管服务。
• 2023：Anthropic（Claude）、Cohere、Mistral 等相继推出商业推理接口；vLLM 开源，使自托管高吞吐推理门槛大幅降低；市场竞争推动 API 价格持续下降（部分模型价格一年内降幅超 90%）。
• 2023-2024：AWS Bedrock、Azure OpenAI Service、Google Vertex AI 深度集成大模型推理，API 推理逐步成为企业 AI 应用的标准基础设施层。
• 2024：批量异步推理接口（Batch API）普及；各提供商推出上下文缓存（Prompt Caching）机制，对重复前缀提供折扣；统一网关类产品（OpenRouter、SiliconFlow）兴起，多模型聚合访问成为常见模式。