端侧 AI 技术路线：从 NPU 到 Agent 的完整指南

AI 模型长期运行在云端数据中心，这种集中式架构有其合理性：大模型参数量庞大，需要数百 GB 显存；训练成本极高，单次训练可能消耗数百万美元算力；基础设施集中，便于维护和迭代。但将所有推理都放在云端，正面临越来越严重的瓶颈。

延迟问题：云端推理涉及网络往返，即使最快的 5G 连接也有 20-50ms 的往返延迟，加上服务器排队时间，实际端到端延迟通常在 100-500ms。对于自动驾驶、实时语音交互、工业控制等场景，这个延迟是不可接受的。

隐私问题：用户的语音、图像、健康数据上传到云端处理，意味着数据离开用户设备。欧盟 GDPR、中国个人信息保护法等法规对数据出境和云端处理有严格限制。越来越多的应用要求数据不出设备。

成本问题：大规模 AI 推理的云端成本极其惊人。以 ChatGPT 为例，每次对话推理成本约 0.02-0.04 美元，日活 2 亿用户意味着每天数百万美元的推理成本。将部分推理转移到设备端，可以显著降低云端算力支出。

可靠性问题：云端推理依赖网络连接，在网络不稳定或断网的环境下（如偏远地区、飞机上、灾难场景），AI 功能完全不可用。端侧 AI 可以做到离线运行，不受网络影响。

端侧 AI 的核心定义：将 AI 模型的推理（inference）过程从云端数据中心转移到终端设备上执行，包括智能手机、PC、IoT 设备、汽车、可穿戴设备等。注意，端侧 AI 目前主要集中在推理阶段，训练仍然主要在云端完成（尽管端侧微调正在发展）。

关键趋势：2025-2026 年，端侧 AI 正从「简单的分类和检测」走向「完整的 Agent 能力」——联发科发布天玑智能体引擎 2.0，高通推出骁龙 AI Agent 框架，苹果在 Apple Intelligence 中实现了设备端 Siri 理解。端侧 AI 正在进入真正的 Agent 时代。

端侧 AI 的运行需要专用硬件支持。通用 CPU 虽然能跑 AI 推理，但效率极低——CPU 擅长控制流和低延迟串行计算，而 AI 推理的核心是大规模并行矩阵乘法，两者不匹配。因此，芯片厂商纷纷在 SoC（片上系统）中集成专用 AI 加速器。

NPU（Neural Processing Unit，神经处理单元）：专为神经网络计算设计的处理器，核心是大量 MAC（乘加运算）阵列。NPU 直接支持常见的神经网络算子——矩阵乘法、卷积、激活函数、归一化等，不需要像 GPU 那样通过 CUDA 核心模拟。NPU 的能效比通常是 GPU 的 5-10 倍。华为昇腾、联发科 APU、高通 Hexagon NPU 都属于这一类。

APU（AI Processing Unit，AI 处理单元）：AMD 的叫法，本质与 NPU 类似，但在架构上更强调多模态处理能力。Intel 也有类似架构（称为 NPU，集成在 Core Ultra 系列中）。NPU 和 APU 在功能上没有本质区别，只是不同厂商的品牌命名差异。

GPU（Graphics Processing Unit，图形处理单元）：GPU 的通用并行计算能力使其天然适合 AI 推理。虽然能效比不如 NPU，但 GPU 的灵活性和软件生态（CUDA、TensorRT）远超专用加速器。在高端 PC 和汽车芯片中，GPU 仍然是 AI 推理的主力——NVIDIA 的 Orin 自动驾驶芯片就基于 Ampere GPU 架构。

DSP（Digital Signal Processor，数字信号处理器）：高通骁龙芯片中的 Hexagon DSP 是典型代表。DSP 最初用于信号处理（音频、视频编解码），后来加入向量扩展后也能高效运行 AI 推理。DSP 的优势是极低的功耗——适合在始终在线（always-on）的传感器场景中使用。

内存架构的关键性：端侧 AI 的性能瓶颈往往不是算力，而是内存带宽。模型参数需要从内存加载到计算单元，如果内存带宽不够，计算单元就会闲置等待数据（称为 memory wall，内存墙）。因此，高端端侧芯片采用 LPDDR5X 甚至 LPDDR6 内存，搭配大容量 L3 缓存来缓解内存墙问题。

异构计算（Heterogeneous Computing）：现代 SoC 不会只用一种处理器跑 AI，而是根据任务特性动态调度到不同处理器——轻量模型跑在 NPU 上，中等模型跑在 GPU 上，复杂控制逻辑跑在 CPU 上。这种调度由AI 运行时框架（如 Qualcomm AI Engine、MediaTek NeuroPilot）自动完成。

# 端侧 AI 异构调度概念演示
# 展示如何根据模型特性选择最优处理器

from enum import Enum

class ProcessorType(Enum):
    CPU = "cpu"      # 通用计算，低并行
    GPU = "gpu"      # 高并行，通用 AI
    NPU = "npu"      # 专用 AI，最高能效
    DSP = "dsp"      # 超低功耗，传感器场景

class ModelProfile:
    def __init__(self, name: str, params_m: int, ops_macs: int, latency_target_ms: float):
        self.name = name
        self.params_m = params_m      # 参数量（百万）
        self.ops_macs = ops_macs      # 算力需求（MAC/s）
        self.latency_target_ms = latency_target_ms

def select_processor(model: ModelProfile, device: dict) -> ProcessorType:
    """
    根据模型特征和设备能力选择最优处理器
    device: {'npu_tops': float, 'gpu_tops': float, 'cpu_tops': float, 'npu_memory_gb': float}
    """
    required_tops = model.ops_macs / 1e12  # 转换为 TOPS
    
    # 规则 1：如果模型能放进 NPU 内存且 NPU 算力足够 → 优先 NPU
    if model.params_m * 4 / 1024 <= device['npu_memory_gb']:  # FP16 每个参数 2 字节
        if device['npu_tops'] >= required_tops:
            return ProcessorType.NPU
    
    # 规则 2：GPU 次优选择——通用性强
    if device['gpu_tops'] >= required_tops:
        return ProcessorType.GPU
    
    # 规则 3：CPU 兜底
    return ProcessorType.CPU

# 示例：在骁龙 8 Elite 上调度不同模型
snapdragon_8_elite = {
    'npu_tops': 73.0,       # Hexagon NPU 73 TOPS
    'gpu_tops': 45.0,       # Adreno 830
    'cpu_tops': 15.0,       # Kryo CPU
    'npu_memory_gb': 8.0    # 共享 LPDDR5X
}

models = [
    ModelProfile("MobileNetV3", 5.4, 0.22e9, 10),       # 轻量分类
    ModelProfile("YOLOv8n", 3.2, 8.7e9, 30),            # 目标检测
    ModelProfile("LLaMA-3-8B-int4", 8000, 100e9, 500),  # 量化 LLM
]

for m in models:
    proc = select_processor(m, snapdragon_8_elite)
    print(f"{m.name} → {proc.value}")
# 输出:
# MobileNetV3 → npu
# YOLOv8n → npu
# LLaMA-3-8B-int4 → gpu

理解端侧 AI 技术路线的最佳方式是横向对比三大芯片平台。它们在 AI 架构、算力指标、软件生态和产品定位上有显著差异，各自代表了不同的端侧 AI 哲学。

联发科天玑（Dimensity）系列：2026 年联发科发布天玑 9500，集成新一代 APU 8.0，AI 算力达到 100+ TOPS。联发科的端侧 AI 战略是「智能体优先」——天玑智能体引擎 2.0 专门优化了多轮对话、工具调用、记忆管理等 Agent 能力。这意味着天玑芯片不仅跑得快，还为 Agent 运行时框架做了底层优化。天玑芯片主要供应给 OPPO、vivo、小米等 Android 厂商，市场覆盖面广。

高通骁龙（Snapdragon）系列：2025 年底发布的骁龙 8 Elite 搭载 Hexagon NPU，算力 73 TOPS，但高通的优势在于软件生态成熟度。高通的 AI Stack 提供从模型转换（AIMET）、量化（QNN）、部署（QAIRT）到运行时（SNPE）的完整工具链，是目前最成熟的端侧 AI 软件生态。骁龙芯片还广泛用于 XR 设备（Snapdragon XR2 Gen 2）、PC（Snapdragon X Elite）和汽车（Snapdragon Ride），跨平台一致性极佳。

苹果 A/M 系列芯片：A18 Pro 和 M4 芯片中的 16 核 Neural Engine 算力约 35-38 TOPS，绝对数值不如竞品，但苹果的软硬一体化优势无可替代。iOS/macOS 的 Core ML 框架与 Neural Engine 深度集成，开发者只需一行代码即可将模型部署到 Neural Engine。Apple Intelligence 的所有端侧推理（Siri 理解、图像生成、文本摘要）都在设备端完成，这是隐私保护最严格的端侧 AI 实现。

关键差异总结：联发科追求最高峰值算力和 Agent 原生优化；高通追求最完整的工具链和跨平台覆盖；苹果追求极致的用户体验和隐私保护。三种路线各有优劣，取决于你的应用场景和目标平台。

端侧设备的内存和算力有限，无法直接运行完整的云端大模型。模型压缩是端侧 AI 的核心技术，目标是在尽可能保持精度的前提下，将模型体积和计算量压缩到设备端可承受的范围。

量化（Quantization）：将模型权重从高精度（FP32，32 位浮点数）转换为低精度格式。常见的量化方案包括：

• INT8 量化：将 FP32 转换为 8 位整数，模型体积缩小 4 倍，推理速度提升 2-4 倍。精度损失通常小于 1%，是最常用的量化方案。NPU 普遍支持 INT8 矩阵乘法。
• INT4 量化：进一步压缩到 4 位整数，模型体积缩小 8 倍。精度损失在 1-3% 之间，取决于模型和校准策略。AWQ（Activation-aware Weight Quantization） 是目前 INT4 量化的 SOTA 方案。
• FP8 量化：8 位浮点数，是 NVIDIA Hopper 架构引入的新格式。FP8 比 INT8 保留更多动态范围，适合对数值敏感的模型。目前端侧 NPU 对 FP8 的支持还在起步阶段。
• 混合精度量化：对模型的不同层使用不同精度——关键层（如注意力层）保留 FP16，其他层量化到 INT8/INT4。这种方法在精度和效率之间取得更好的平衡。

剪枝（Pruning）：移除模型中「不重要」的参数和连接。剪枝分为：

• 非结构化剪枝：移除单个权重参数，得到稀疏矩阵。压缩率高但需要稀疏矩阵专用硬件才能加速，通用 NPU 难以受益。
• 结构化剪枝：移除整个通道、滤波器或注意力头，得到更小的稠密模型。结构化剪枝对端侧部署更实用，因为标准 NPU 可以直接加速。

知识蒸馏（Knowledge Distillation）：用一个大模型（教师模型）训练一个小模型（学生模型），让学生模型模仿教师模型的输出行为。蒸馏后的学生模型通常比直接训练的同等大小模型精度更高。端侧 AI 中，知识蒸馏常用于将云端大模型（如 GPT-4）的能力蒸馏到端侧小模型（如 1-3B 参数的轻量 LLM）。

端侧 LLM 的特殊挑战：大语言模型的核心瓶颈不是算力，而是内存带宽。以 7B 参数模型为例，FP16 精度需要 14GB 显存，远超大多数手机。INT4 量化后约 3.5GB，可以装入高端手机。但即使模型能装入内存，生成每个 token 需要加载全部模型参数，这使得内存带宽成为自回归生成的主要瓶颈。因此，端侧 LLM 部署通常采用 KV Cache 压缩和 投机解码（Speculative Decoding） 等技术来加速。

# 端侧模型量化示例：使用 AWQ 将 LLaMA 7B 量化到 INT4
# 展示量化前后模型大小和推理延迟的变化

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
import time

# 加载预训练模型
model_name = "meta-llama/Llama-3-8B"
tokenizer = AutoTokenizer.from_pretrained(model_name)

# --- 方案 A：FP16 原始模型 ---
model_fp16 = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="cuda"
)
fp16_size = sum(p.numel() * 2 for p in model_fp16.parameters()) / 1e9
print(f"FP16 模型大小: {fp16_size:.1f} GB")  # 约 16 GB

# --- 方案 B：INT4 AWQ 量化模型 ---
from awq import AutoAWQForCausalLM

model_int4 = AutoAWQForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="cuda"
)
# AWQ 量化（需要校准数据集）
quant_config = {"zero_point": True, "q_group_size": 128, "w_bit": 4, "version": "GEMM"}
model_int4.quantize(quant_config, calib_data=calibration_samples)

int4_size = sum(p.numel() * 0.5 for p in model_int4.parameters()) / 1e9
print(f"INT4 模型大小: {int4_size:.1f} GB")  # 约 4 GB

# --- 推理延迟对比 ---
prompt = "请简要介绍端侧 AI 的优势"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")

# FP16 推理
start = time.time()
_ = model_fp16.generate(**inputs, max_new_tokens=50)
fp16_time = time.time() - start
print(f"FP16 推理时间: {fp16_time:.2f}s")

# INT4 推理
start = time.time()
_ = model_int4.generate(**inputs, max_new_tokens=50)
int4_time = time.time() - start
print(f"INT4 推理时间: {int4_time:.2f}s")

# 典型结果:
# FP16 模型大小: 16.0 GB (高端手机无法装入)
# INT4 模型大小: 4.0 GB (可装入 8GB+ RAM 手机)
# FP16 推理时间: 12.5s (每个 token 约 250ms)
# INT4 推理时间: 6.8s  (每个 token 约 136ms)

端侧 AI 不是简单地把模型文件复制到手机上——需要经过模型转换、优化、编译、部署的完整流程。不同芯片平台有各自的工具链，理解这些工具链的差异是端侧 AI 工程化的关键。

高通 AI Stack：这是目前最完整的端侧 AI 工具链，包含四个层次：

• AIMET（AI Model Efficiency Toolkit）：模型压缩工具，支持量化（PTQ 和 QAT）、剪枝和蒸馏。AIMET 可以在 PyTorch/TensorFlow 模型上直接操作，输出量化后的模型。
• QNN（Qualcomm Neural Network）：底层推理引擎，直接调用 Hexagon NPU、Adreno GPU 和 Kryo CPU 的计算能力。QNN 支持 ONNX 模型导入。
• SNPE（Snapdragon Neural Processing Engine）：高级推理 API，封装 QNN 的复杂性，提供更易用的接口。支持 C++、Python、Java 绑定。
• QAIRT（Qualcomm AI Runtime）：跨平台运行时，支持从 PC 到手机到 XR 的统一部署。

联发科 NeuroPilot：联发科的端侧 AI 工具链相对较新，但发展迅速：

• NeuroPilot Converter：将 TensorFlow/PyTorch 模型转换为 NeuroPilot 中间表示。
• NeuroPilot Compiler：针对 APU 架构进行算子优化和图优化，生成高效的 NPU 执行代码。
• NeuroPilot Runtime：运行时框架，支持异构调度（CPU+GPU+NPU）。
• NeuroPilot Manager：模型管理和 OTA 更新工具，适合大规模设备部署。

苹果 Core ML：苹果生态的封闭但高效路线：

• Core ML 框架将训练好的模型转换为 .mlmodel 格式（Core ML Tools 完成转换）。
• 运行时自动选择最优执行单元（Neural Engine、GPU 或 CPU），开发者无需关心硬件细节。
• 优势是开发体验极佳——一行代码即可部署；劣势是只能在苹果设备上使用，且模型格式封闭。

跨平台方案：如果你的应用需要覆盖多平台（Android + iOS + PC），可以考虑：

• ONNX Runtime Mobile：微软的跨平台推理引擎，支持 ARM/x86，有 NPU 加速后端。
• TensorFlow Lite：Google 的移动端推理引擎，内置量化和委托（delegate）机制，可调用 GPU/DSP/NPU 加速。
• MLC LLM：专为端侧 LLM 设计的编译器，支持自动将模型编译到多种后端（WebGPU、Metal、Vulkan、CUDA）。

选择工具链的决策树：目标平台单一 → 选择该平台原生工具链（iOS→CoreML，高通→AI Stack）；目标平台多元 → 选择跨平台方案（ONNX Runtime 或 TFLite）；需要极致性能 → 使用原生工具链并手动调优。

端侧 LLM（大语言模型）是 2025-2026 年端侧 AI 最热门的方向。与云端 LLM 相比，端侧 LLM 面临三个核心挑战：模型大小限制（手机内存通常 8-16GB）、推理速度（自回归生成每 token 都要加载模型权重）、用户体验（首 token 延迟要低于 500ms 用户才不会感知到卡顿）。

模型选择：不是所有 LLM 都适合端侧。适合端侧的模型需要满足：

• 参数量：INT4 量化后不超过设备可用内存的 70%（预留系统和其他应用）。8GB 内存手机适合 3-7B 参数模型（INT4），16GB 内存可尝试 13B。
• 架构：GQA（Grouped Query Attention）架构比 MHA（Multi-Head Attention）推理更快，因为 KV Cache 更小。Llama 3、Mistral、Qwen2 都采用 GQA。
• 上下文窗口：端侧 LLM 的上下文窗口通常限制在 4K-8K tokens，因为 KV Cache 随上下文线性增长。更长的上下文需要 KV Cache 压缩技术。

推理引擎选择：

• llama.cpp：最流行的端侧 LLM 推理框架，纯 C++ 实现，支持 GGUF 格式。可以在 CPU、GPU、Metal（苹果）上运行。社区活跃，模型转换工具完善。
• MLC LLM：TVM 生态的端侧 LLM 编译器，支持自动优化和多种硬件后端。性能比 llama.cpp 更好，但配置更复杂。
• MediaTek LLM SDK：联发科专为天玑芯片优化的 LLM 推理 SDK，深度利用 APU 的 INT4 矩阵乘法能力。在相同硬件下比 llama.cpp 快 2-3 倍。

部署流程（以 llama.cpp + 高通骁龙为例）：

1. 下载预训练模型（如 Qwen2-7B）
2. 使用 llama.cpp 的 convert.py 转换为 GGUF 格式
3. 使用 quantize 工具进行 INT4 量化（Q4_K_M 推荐）
4. 在目标设备上编译 llama.cpp（启用 NPU 后端）
5. 运行推理测试，测量首 token 延迟和生成速度

性能调优技巧：

• Paged Attention：将 KV Cache 分页管理，减少内存碎片，提高长上下文场景的吞吐量。
• 投机解码（Speculative Decoding）：用小模型（草稿模型）快速生成候选 token，大模型验证。在端侧场景中，可以用 1B 模型做草稿、7B 模型做验证，加速 1.5-2 倍。
• 持续批处理（Continuous Batching）：在多用户场景下，动态管理请求批处理，提高 NPU 利用率。

# 端侧 LLM 部署实战：使用 llama.cpp 在 Android 设备上运行 Qwen2-7B

# 第 1 步：克隆 llama.cpp
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

# 第 2 步：安装依赖并转换模型
pip install -r requirements.txt

# 下载 Qwen2-7B-Instruct（Hugging Face）
huggingface-cli download Qwen/Qwen2-7B-Instruct --local-dir ./qwen2-7b

# 转换为 GGUF 格式
python convert-hf-to-gguf.py ./qwen2-7b --outfile qwen2-7b-fp16.gguf

# 第 3 步：INT4 量化（Q4_K_M 是精度和速度的最佳平衡）
./llama-quantize qwen2-7b-fp16.gguf qwen2-7b-q4_k_m.gguf Q4_K_M

# 查看量化后模型大小
ls -lh qwen2-7b-q4_k_m.gguf
# 输出: -rw-r--r--  1 user  staff   4.1G  May 13 21:00  qwen2-7b-q4_k_m.gguf

# 第 4 步：在设备上运行推理（Android 需交叉编译 llama.cpp）
# CPU 模式（基准测试）
./llama-cli -m qwen2-7b-q4_k_m.gguf -p "什么是端侧 AI？" -n 128 -t 8

# 输出示例:
# llm_load_tensors: loaded model in 850ms
# sample          : sampling method: top_k = 40, top_p = 0.95
# eval            : token generation speed: 15.2 tok/s
#                 : time to first token: 320ms

# 第 5 步：启用 NPU 加速（高通平台）
# 需要构建带有 QNN 后端的 llama.cpp
mkdir build-qnn && cd build-qnn
cmake -DGGML_QNN=ON -DQNN_SDK_ROOT=/path/to/qnn-sdk ..
make -j8
./llama-cli -m qwen2-7b-q4_k_m.gguf -p "什么是端侧 AI？" -n 128 \
  --backend qnn  # 启用 QNN 后端

# NPU 加速后典型输出:
# eval            : token generation speed: 28.5 tok/s (提升 87%)
#                 : time to first token: 185ms (降低 42%)

端侧 AI 不是要取代云端 AI，而是与云端 AI 形成协同关系。理解两者的定位差异和协同模式，是设计 AI 系统架构的基础。

云端 AI 的优势：

• 无限算力：数据中心可以部署数万张 GPU，运行万亿参数模型。
• 持续更新：模型可以随时在云端更新，无需用户下载新版本。
• 全局知识：云端模型可以访问最新数据和互联网，具备实时信息获取能力。
• 多用户共享：一份模型服务数百万用户，边际成本极低。

端侧 AI 的优势：

• 零延迟：推理在本地完成，没有网络往返延迟。
• 隐私保护：数据不出设备，满足最严格的隐私合规要求。
• 离线可用：不依赖网络，在无网环境下仍可运行。
• 个性化：端侧模型可以学习用户的本地数据（日历、消息、偏好），提供真正个性化的服务。

混合架构（Hybrid Architecture）：最实用的方案是端云协同——简单、频繁、隐私敏感的任务在端侧处理；复杂、需要最新知识的任务在云端处理。例如：

• Siri 的语音识别在设备端完成（延迟敏感），但复杂的知识问答转发到云端。
• 手机的相册搜索（本地照片）在端侧完成，但「帮我生成一张海边日落的照片」转发到云端。
• 汽车的基础驾驶辅助（车道保持、碰撞预警）在端侧完成，但高精地图更新从云端获取。

端云协同的设计模式：

1. 路由器模式（Router Pattern）：端侧运行一个轻量分类器，判断请求应该本地处理还是云端处理。分类器考虑因素包括：请求复杂度、网络状态、隐私级别、设备电量。
2. 分流模式（Split Computing）：模型的前几层在端侧运行，中间结果加密后发送到云端继续运行。这种方式既利用了端侧的隐私保护，又利用了云端的算力。
3. 联邦学习（Federated Learning）：多个设备在本地训练模型，只上传模型梯度（而非原始数据）到云端聚合。这种方式在保护隐私的同时实现模型的全局改进。

端侧 AI 的性能评测不同于云端——不能只看准确率。端侧环境资源受限，需要在准确率、延迟、功耗、内存占用之间找到平衡。

核心评测指标：

• 延迟（Latency）：从输入到输出的时间。分为首 token 延迟（TTFT）和整体延迟。对于实时交互场景，TTFT 应低于 300ms。
• 吞吐量（Throughput）：单位时间内处理的请求数（tokens/s 或 images/s）。高吞吐量意味着 NPU 利用率高。
• 功耗（Power）：推理过程中的电量消耗。用「每推理毫焦耳」或「每分钟百分比电量」衡量。功耗直接影响用户体验。
• 内存占用（Memory）：模型权重 + KV Cache + 运行时开销的总内存。不能超过设备可用内存。
• 精度（Accuracy）：量化/剪枝后的精度损失。用基准测试（GLUE、MMLU、ImageNet）量化。

MLPerf Mobile Inference：MLCommonity 推出的移动端 AI 推理基准测试，涵盖分类、检测、语言理解等任务。这是最权威的端侧 AI 性能对比标准。芯片厂商通常以 MLPerf 成绩作为营销指标。

自建评测框架：对于特定应用场景，MLPerf 可能不够贴合。建议自建评测框架：

1. 选择代表性测试集：覆盖你的应用中最常见的请求类型。
2. 定义SLO（服务等级目标）：如 TTFT < 300ms、精度损失 < 2%、功耗 < 500mW。
3. 在真实设备上测试，不要用模拟器——模拟器无法准确反映 NPU 性能和内存带宽。
4. 记录P50/P95/P99 延迟：P99 延迟反映最坏情况，对用户体验影响最大。

能耗效率（Energy Efficiency）：这是端侧 AI 最重要的综合指标，定义为 精度 / 功耗。两个模型可能有相同精度，但功耗差 5 倍——在端侧场景中，低功耗的模型明显更优。

2026 年是端侧 Agent 元年。联发科天玑智能体引擎 2.0、高通骁龙 AI Agent 框架、Apple Intelligence 的 Siri 升级，都标志着端侧 AI 正在从「模型推理」走向「智能体平台」。

端侧 Agent 与云端 Agent 的本质区别：

• 数据访问：端侧 Agent 可以直接访问设备上的数据——日历、通讯录、相册、消息、位置。这意味着它可以提供高度个性化的服务，而无需将数据上传到云端。
• 持续运行：端侧 Agent 可以在设备上常驻运行（always-on），监听用户指令、感知环境变化、主动提供建议。云端 Agent 通常是请求-响应模式，无法做到持续感知。
• 隐私边界：端侧 Agent 的所有推理都在设备本地完成，用户数据物理上不出设备。这是云端 Agent 无法保证的隐私级别。

端侧 Agent 的技术栈：

• 感知层：视觉模型（拍照识别）、语音模型（实时语音识别）、传感器融合（位置、运动、环境）。
• 推理层：端侧 LLM（理解意图、生成响应）、工具调用（调用本地 API、发送消息、设置提醒）。
• 记忆层：向量数据库（存储用户偏好和历史对话）、知识图谱（用户社交关系和日程）。
• 执行层：本地应用调用（日历、邮件、相册）、系统操作（设置闹钟、发送通知）。

端侧 Agent 的挑战：

• 算力瓶颈：Agent 需要同时运行多个模型（语音识别 + LLM + 视觉），端侧算力难以支撑所有模型同时高性能运行。
• 模型更新：云端模型可以随时更新，端侧模型需要 OTA 下发。如何平衡模型大小和更新频率是工程难题。
• 多 Agent 协调：未来设备可能有多个端侧 Agent（系统级 Agent + 应用级 Agent），如何协调它们的行为避免冲突是开放问题。

未来趋势：随着芯片算力持续提升（2027 年端侧 AI 算力预计达到 200+ TOPS）、模型压缩技术不断进步（INT2 量化实用化）、以及 Agent 框架标准化（如 MCP 协议向端侧延伸），端侧 Agent 将在 2-3 年内成为智能设备的标配功能。

端侧 AI 是一个横跨芯片架构、模型压缩、推理优化、系统设计的综合性领域。如果你要从零开始学习端侧 AI，建议按以下路径进行：

第一阶段：基础理解（2-4 周）

• 理解 AI 推理的基本原理——矩阵乘法、激活函数、注意力机制
• 学习端侧 AI 与云端 AI 的差异——延迟、隐私、功耗、内存约束
• 了解主流端侧 AI 芯片（联发科、高通、苹果）的架构特点

第二阶段：模型压缩（4-6 周）

• 实践量化技术——从 FP32 到 INT8/INT4，理解精度损失与加速比
• 尝试知识蒸馏——用大模型训练小模型
• 学习结构化剪枝——在保持模型架构的同时减少参数量

第三阶段：部署实战（4-8 周）

• 选择目标平台（Android/iOS/PC），学习对应的工具链
• 将 PyTorch/TensorFlow 模型转换为目标平台格式
• 在真实设备上测试和优化——延迟、功耗、内存

第四阶段：进阶优化（持续）

• 学习 NPU 编程——编写自定义 NPU 算子
• 探索投机解码、Paged Attention 等前沿加速技术
• 研究端侧 Agent 架构——多模型协同、本地记忆、工具调用

学习资源推荐：

• MLCommonity MLPerf Mobile Inference 基准测试报告
• Qualcomm AI Stack 官方文档和教程
• llama.cpp 源代码和 GGUF 格式规范
• Apple Core ML 官方文档和 WWDC 视频
• MediaTek NeuroPilot 开发者指南

端侧 AI 正在经历从「能不能跑」到「跑得好不好」的转变。随着芯片算力的持续提升和模型压缩技术的不断成熟，端侧 AI 将在 2026-2027 年迎来爆发式增长。现在正是入局的最佳时机。