LLM 如何跑在手机 / 边缘设备上？

一、先把结论讲清楚

整体思路

二、拆开机制和判断点

端侧跑 LLM 的关键是把内存占用和访存压到设备能承受的范围。

三、补上例子、边界和取舍

• 选模型：优先小尺寸模型（SLM），必要时蒸馏/微调到目标任务；
• 量化：权重通常量化到 4bit（如 GGUF/INT4），大幅降低体积与带宽需求，是端侧 LLM 的标配；
• 运行时：用 llama.cpp、MLC LLM、MediaPipe 等专门框架，把算子委托给 GPU/NPU 加速；
• KV cache 管理：缓存历史 key/value 避免重复计算，但它随上下文线性增长占内存，需限制上下文长度或做缓存淘汰/量化。

主要约束

自回归解码是访存密集型，性能瓶颈在内存带宽而非纯算力；长上下文会同时推高 KV cache 内存与延迟；持续生成还受功耗、发热降频与续航限制。因此端侧 LLM 多用于短上下文、低频交互的本地任务，复杂场景回落云端。