LPU（语言处理单元）

LPU 的核心创新是功能切片微架构（Functionally Sliced Microarchitecture）。传统 AI 加速器将计算单元和内存单元分开——计算单元需要通过网络或总线访问内存，形成所谓的「内存墙」。

LPU 将内存单元与向量/矩阵计算单元交替排列在同一芯片上，数据在计算单元之间像流水线一样流动。这种设计充分利用了 AI 计算图中的数据流局部性（Dataflow Locality），使每次计算都能以最低延迟获取所需数据。

LPU 不使用 HBM，而是依赖片上 SRAM——虽然容量较小（每颗约 230MB），但访问速度极快且确定性高。对于大参数模型，需要将模型分布到多颗 LPU 上协同工作。

LPU 在推理延迟方面具有显著优势。由于片上 SRAM 的访问速度远超 HBM，且功能切片架构消除了内存访问的不确定性，LPU 的推理延迟极低且高度可预测。在 Llama 2 70B 推理测试中，Groq 系统达到 300+ tokens/s 的速度——远超同等 GPU 方案。

这种超低延迟对实时对话、代码补全等场景尤为重要。但 LPU 的局限性在于片上 SRAM 容量有限，大模型需要分布在多颗 LPU 上，系统复杂度和成本随模型规模增长较快。

2025 年 12 月，Nvidia 和 Groq 宣布一项约 200 亿美元的协议，Nvidia 将授权 Groq 的 AI 推理技术并接收数名高级 Groq 高管。这笔交易标志着 LPU 架构的价值得到了行业龙头的认可，也反映了 Nvidia 在推理市场面临的竞争压力。

LPU 的数据流设计理念正在影响整个 AI 芯片行业——Google TPU 的脉动阵列、Cerebras 的晶圆级架构、以及 Groq 的功能切片架构，都在探索如何突破传统 GPU 的 SIMT 架构限制，为 AI 推理提供更高效的硬件方案。