高带宽内存(HBM)
高带宽内存就是显存
亦作、亦称:HBM · High Bandwidth Memory · HBM2 · HBM3 · HBM3E · HBM4
HBM(高带宽内存)是 AI 加速器的关键存储组件,通过 3D 堆叠 DRAM 与硅通孔(TSV)把内存放到 GPU/加速器近旁。它用超宽总线和高带宽缓解“内存墙”,直接影响大模型训练与推理吞吐。
技术架构:3D 堆叠与硅通孔
HBM 的核心是 3D 堆叠设计。传统 DDR 内存通过 PCB 走线连接处理器,总线宽度通常为 64-72 位,频率越高信号完整性越难保证。HBM 采用完全不同的思路:将 4-16 个 DRAM 芯片垂直堆叠,通过硅通孔(Through-Silicon Via, TSV)实现芯片间互联。
TSV 是在硅芯片上蚀刻的微型垂直通道,填充铜导体,实现芯片间的短距离高速连接。
这种设计带来三大优势:一是总线宽度达到 1024-2048 位(是 DDR 的 16-32 倍),虽然频率较低但总带宽远超传统方案;二是堆叠结构大幅节省 PCB 面积,通过 2.5D/3D 封装与 GPU 紧邻部署;三是缩短信号传输距离,降低功耗(每比特能量仅为 GDDR 的约 1/5)。
代际演进:从 HBM1 到 HBM4
HBM 经历了五代演进。HBM1(2013 年标准,2015 年 AMD Fiji GPU 首发):4 层堆叠,1024 位总线,带宽 128 GB/s。HBM2(2016 年):8 层堆叠,带宽翻倍至 256 GB/s,广泛用于 NVIDIA V100 等数据中心 GPU。
HBM2E(2020 年):每针速率达 3.6 Gbps,单堆栈带宽 460 GB/s。HBM3(2022 年 1 月标准):每针 6.4 Gbps,引入片上纠错,单堆栈带宽超 800 GB/s,成为 AI 加速器标配。
HBM3E(2023 年):每针 9.6 Gbps,带宽超 1.2 TB/s,用于 NVIDIA H100/B100 等。
HBM4(2025 年 4 月标准,2026 年 2 月量产):支持 24/32 Gb DRAM 芯片,4-16 层堆叠,最大 64 GB,Samsung 产品单堆栈带宽达 3.3 TB/s。
AI 时代的存储瓶颈与市场格局
2026 年全球半导体市场迎来历史性拐点,存储芯片同比暴涨 249.5%,HBM 成为拉动行业的核心引擎。AI 大模型参数量从千亿级迈向万亿级,仅权重就需数 TB 存储;推理过程中 GPU 算力远超内存供数速度,实际利用率通常仅 30-50%(「内存墙」问题)。
HBM 通过超高带宽缓解这一瓶颈,但需求增速远超产能扩张。市场由 SK Hynix(约 50% 份额)、Samsung(约 40%)和 Micron(约 10%)三巨头垄断。HBM 产能挤占传统 DRAM 产能,导致 DDR4/DDR5 价格同步上涨。
NVIDIA B200 单卡搭载 192 GB HBM3E,GB200 NVL72 系统总 HBM 容量达 13.5 TB——HBM 已从「高端配件」变为 AI 算力的核心约束条件。
常见误解
日常交流中容易听到的简化说法,未必准确,但能帮助理解误解从何而来。
- 「就是显存」
- 「一种更快的 DDR」
相关术语
和本术语关联紧密的其他词条,便于串联理解。
🎯 考点练习
含该术语的高频面试题,含标准答案与追问。
- 高级系统设计高频查看详解 →
CXMT $98 亿 IPO 与 ASML 产能扩张——如何理解 AI 芯片供应链的地缘政治博弈与企业应对策略?
2026 年 7 月,CXMT 以约 $98 亿启动亚洲年度最大 IPO,ASML 第二次上调全年预期至 €430-450 亿。AI 芯片供应链从供需两端同时扩张:中国加速 DRAM 自主替代,全球先进光刻产能持续紧缺。理解这一格局对企业 AI 基础设施选型、成本管控和供应链韧性至关重要。
- 中级概念查看详解 →
Samsung zHBM 与传统 HBM 架构的核心区别是什么?它试图解决什么问题?
考察候选人是否理解 HBM 从「侧面平铺」到「垂直堆叠」的架构变化:互连距离、带宽密度、封装面积三个维度的差异,以及 zHBM 作为概念模型的成熟度边界。
- 中级概念查看详解 →
LangChain 的 Memory 组件是什么?对话历史如何持久化?
Memory 负责在多轮对话中维护并注入历史上下文,常见有 Buffer、BufferWindow、Summary、向量库支撑等类型;持久化把消息落到 Redis/数据库/文件,新版用 RunnableWithMessageHistory 实现。
延伸阅读
从知识库精选 3 篇文章,帮助深入理解该术语。
- 1
存储芯片超级周期:AI 算力饥渴如何催生 10.9 万亿元半导体市场
2026 年,全球半导体市场迎来历史性拐点。WSTS 预测全年规模达 1.511 万亿美元(约 10.9 万亿元人民币),其中存储芯片同比暴增 249.5%,产值突破 8039 亿美元,成为拉动整个行业增长的核心引擎。本文从需求侧(AI 大模型、智能体、端侧 AI)、供给侧(三巨头垄断、HBM 产能挤占、DDR4 减产)、价格侧(DRAM/NAND 季度涨幅超 50%)三个维度,系统解读本轮存储超级周期的驱动逻辑、结构性矛盾和未来走向。
- 2
NVIDIA RTX Spark:消费级AI芯片架构与Windows AI代理平台全景解读
2026年6月1日,NVIDIA CEO黄仁勋在GTC Taipei/COMPUTEX 2026主题演讲中发布RTX Spark超级芯片——这是NVIDIA时隔十余年再次挑战PC处理器领域,将Blackwell GPU与20核Grace CPU集成于单一SoC,支持128GB统一内存和1 petaflop AI算力。本文系统解读RTX Spark的硬件架构、与微软合作的AI代理平台生态、Windows on Arm战略意义,以及对PC行业格局的深远影响。
- 3
AI存储供应链战略:美光与Anthropic全方位合作与HBM争夺战
2026年6月22日,美光科技宣布与Anthropic达成全方位战略合作,涵盖HBM/DRAM/SSD优化设计、多年期供应协议、以及Anthropic H轮股权投资。这标志着AI产业竞争从算力层扩展到存储层,HBM成为AI时代的战略资源。
外部参考
维基百科:查看「高带宽内存」词条本页内容为本站原创撰写;维基百科链接仅作延伸参考。
