Edge Inference（边缘推理）

边缘推理（Edge Inference）是 Edge AI 体系的核心执行环节，指在网络边缘侧的本地硬件上完成模型前向计算（Forward Pass）的过程。

• 本质：将训练好的模型部署到终端设备，用本地算力代替云端算力完成「输入数据 → 模型预测」的推理链路
• 对比云端推理：云端推理依赖稳定网络、存在往返延迟（RTT）且数据需上传；边缘推理延迟可低至个位数毫秒
• 关键驱动力：NPU（神经网络处理单元）、移动 GPU 的算力快速提升，以及量化、蒸馏等模型压缩技术的成熟
• 市场规模：据 Grand View Research，全球 Edge AI 市场预计从 2025 年约 250 亿美元增至 2033 年超 1180 亿美元

边缘推理通过「压缩模型 + 适配硬件」两条主线实现可行部署。

• 量化（Quantization）：将浮点权重（FP32/FP16）转换为低比特整数（INT8/INT4），显著减少内存占用和计算量，精度损失通常在 1% 以内
• 剪枝（Pruning）：移除对输出贡献较小的神经元或连接，结构化剪枝（Structured Pruning）可减少 60-80% 参数同时保持硬件加速友好性
• 知识蒸馏（Knowledge Distillation）：用大教师模型指导小学生模型训练，使轻量模型逼近大模型的输出分布
• 硬件适配：利用 TensorRT、CoreML、ONNX Runtime、TFLite 等推理引擎将模型编译为目标硬件（NPU/DSP/GPU）的最优执行图
• 推理引擎调度：批处理（Batching）、算子融合（Operator Fusion）、内存复用进一步提升吞吐

按部署位置和算力规模，边缘推理可分为以下几类。

• 端侧推理（On-device）：直接在手机、穿戴设备、摄像头上运行，算力最受限，常用 INT4/INT8 量化小模型（如 Phi-3-mini、Gemma-2B）
• 边缘服务器推理：部署于本地机房或基站，算力介于端侧与云端之间，可运行中等规模模型（7B-13B 参数）
• 云边协同（Hybrid）：复杂请求路由至云端，简单/实时请求由边缘处理，兼顾精度与延迟
• 联邦推理（Federated Inference）：多端设备协同完成推理，数据不集中，隐私保护更强
• 投机推理（Speculative Decoding）变体：边缘小模型起草（Draft），云端大模型验证（Verify），降低云端负载

边缘推理已在多个高价值场景落地，延迟与隐私是最核心的驱动因素。

• 自动驾驶：车载 ECU/NPU 完成实时目标检测与决策，云端往返延迟不可接受
• 工业质检：产线摄像头本地运行视觉检测模型，良品率判断延迟 < 10ms
• 移动端语音/NLP：iPhone Siri、Pixel 语音助手等将语音识别和意图理解在设备端完成，保护用户语音隐私
• On-device LLM：Phi-3、Gemma、Llama 等小参数量模型在手机端运行，实现离线 AI 问答
• 医疗 IoT：可穿戴设备实时分析心率、血氧异常，无需持续上传原始数据

边缘推理与云端推理各有适用场景，核心差异体现在四个维度。

• 延迟：边缘推理消除网络往返，延迟可低至 1-10ms；云端推理受 RTT 影响，典型值 50-500ms
• 隐私：边缘推理数据不出设备，天然符合 GDPR 等隐私法规；云端推理需信任服务商数据处理策略
• 成本结构：边缘推理边际成本低（硬件一次性投入）；云端推理按调用量计费，大规模部署成本高
• 模型能力上限：边缘设备算力/内存受限，当前端侧可运行模型约 1B-13B 参数；云端可运行超千亿参数大模型

边缘推理并非万能，落地时需警惕以下局限与误解。

• 误区：端侧推理精度与云端一样：压缩后精度损失不可避免，需通过 A/B 测试量化影响
• 误区：任何模型都能跑在边缘：受内存（通常 < 8GB）和算力约束，超大模型需激进量化或架构重设计
• 硬件碎片化：Android 设备 NPU 型号众多，同一模型在不同芯片上性能差异显著，需针对性适配
• 更新困难：端侧模型更新依赖 OTA 推送，迭代速度慢于云端
• 安全风险：模型部署在用户设备，存在逆向工程和模型窃取风险，需配合模型加密/混淆

边缘推理随移动 AI 芯片与模型压缩技术同步演进。

• 2016 年：Han et al. 发表《Deep Compression》，确立剪枝-量化-编码三阶段压缩范式
• 2017 年：Google 发布 MobileNets，专为移动端设计的轻量级 CNN 成为端侧视觉推理基准架构
• 2018 年：Apple A12 芯片集成专用 Neural Engine（NPU），标志消费级芯片进入 Edge AI 时代
• 2019-2020 年：TFLite、CoreML、ONNX Runtime 等推理引擎成熟，端侧部署工具链完善
• 2023 年：Qualcomm、联发科、Apple 推出支持 7B 参数量化模型的端侧 SoC，On-device LLM 兴起
• 2025-2026 年：主流预测约 50-80% 企业 AI 推理工作负载将迁移至边缘端，端侧大模型成为新竞争焦点