端侧 AI 在中国迎来关键突破。
技术亮点：
- 1.58-bit 量化：极低比特量化，大幅降低模型部署门槛
- 显存红利：推理阶段释放约 6 倍显存
- 能力保留：模型能力保留率 90% 到 97.2%
- 全链路原生：从量化算子到训练算法到框架均在昇腾上完成
行业意义：
- 端侧大模型是 AI 普惠化的关键路径
- 1.58-bit 量化让大模型能在资源受限设备上运行
- 昇腾原生适配意味着摆脱英伟达依赖的进一步深入
来源: 新浪科技
链接: https://k.sina.com.cn/article_7857201856_1d45362c001905x0l8.html