芯片今天·面壁智能 + 新浪AI热点 + 机器之心

面壁智能联合清华开源中国首个昇腾训练1.58-bit端侧大模型BitCPM-CANN

BitCPM-CANN从量化算子到全链路框架均在华为昇腾上原生完成,推理显存降低约6倍,模型能力保留率达90-97.2%。

5月25日,面壁智能宣布联合清华大学正式开源中国首个基于昇腾训练的低比特端侧大模型BitCPM-CANN。该模型从量化算子、训练算法到全链路框架,均在华为昇腾芯片上原生完成。

在推理阶段,BitCPM-CANN释放约6倍显存红利,同时将模型能力保留率维持在90%至97.2%。这意味着在端侧设备上,开发者可以用极低的内存占用运行接近全精度模型的能力。

这一发布对中国AI芯片生态具有重要意义。长期以来,大模型训练高度依赖NVIDIA GPU生态,而BitCPM-CANN的成功证明国产芯片昇腾已具备训练低比特大模型的完整能力。

面壁智能此前已发布多个端侧开源模型,此次BitCPM-CANN的发布进一步降低了端侧AI的部署门槛,为智能硬件、IoT设备和边缘计算场景提供了新的模型选择。