标准回答
一、端侧的核心约束
相比云端，端侧设备算力弱、内存与存储有限、功耗与发热受严格预算约束，且常需在无网或弱网下工作。但端侧的价值正在于此：本地推理无需联网、延迟低，且数据不出设备、隐私性好。
二、优化手段
- 量化：将 FP32/FP16 权重与激活降到 INT8 甚至 INT4，显著降低体积、带宽与能耗，是首选手段；
- 剪枝：去掉冗余权重或整通道，结构化剪枝更易在硬件上获得真实加速；
- 知识蒸馏：用大模型指导小模型，在小体积下保住精度；
- 直接选用小模型 + 算子融合，并通过 NPU/GPU 委托做硬件加速。
三、补充评估指标和验收方式
要在目标设备上测端到端延迟、内存峰值、功耗与发热，配合校准集验证精度回退在可接受范围内。
面试里要把 端侧推理有哪些约束 放到训练到上线的链路里说：离线指标只是第一步，还要补特征一致性、版本管理、灰度实验、监控漂移和回滚方案。这样能证明你理解的是生产系统，而不是只会背流程图。
常见误区
⚠️ 常见踩坑
误区一：容易答偏的地方：只盯离线准确率而忽视设备上的内存峰值、发热降频和续航；以及误以为量化、剪枝必然「免费」加速，实际收益高度依赖硬件后端与算子支持。
追问
追问 1：为什么有时量化后体积变小但速度没变快？
加速依赖硬件与运行时是否真正支持低精度算子。若后端把 INT8 算子退回 FP 计算，或存在大量不被支持的算子导致频繁回退/数据搬运，体积虽降但延迟不改善，需选择有 NPU/GPU 委托且算子覆盖好的部署栈。
追问 2：端侧和云端推理如何分工？
常用混合架构：高频、低延迟、隐私敏感、需离线的任务放端侧（小模型）；复杂推理、长上下文、需最新知识的任务回落到云端。可按置信度或任务复杂度动态路由，兼顾体验、成本与隐私。
🔗 相似问题
同一考点的不同问法，换着练更稳
延伸学习
按主题分类的相关资源，便于系统复习