1.58-bit 低比特量化技术：端侧 AI 的显存革命

在 2026 年的端侧 AI 领域，1.58-bit 三值量化正在引发一场显存革命。当 HBM 内存价格在过去一年内翻了约 5 倍、模型推理成本持续攀升时，如何将更大参数规模的模型塞进有限的设备显存中，成为了整个行业的核心挑战。

1.58-bit 技术的答案极其简洁而深刻：每个权重参数只取三个值——-1、0、+1，理论上每个参数平均只需 1.58 bit 来存储。这意味着一个 8B 参数的模型，在 1.58-bit 量化下仅需约 2-3GB 显存，而同等规模的全精度 BF16 模型需要 16GB 以上。6 倍的显存红利，让 8B 级别的对话模型可以流畅运行在当前主流旗舰手机上。

本文将系统讲解 1.58-bit 低比特量化技术的完整知识体系：从信息论基础到训练策略，从硬件适配到工程部署。你将理解为什么 1.58-bit 被称为模型压缩的「数学甜蜜点」，以及如何在实际项目中应用这项技术。

要理解 1.58-bit 量化的价值，必须先理解端侧 AI 面临的根本矛盾：模型能力与设备资源之间的鸿沟。

显存瓶颈正在成为 AI 行业的首要成本问题。 2026 年，AI 服务器需求爆发式增长导致存储芯片供应紧张。高盛研究报告指出，DRAM 涨幅达到 250％-280％，NAND 涨幅 200％-250％，而 HBM（高带宽内存）因技术门槛与产能约束涨幅更高。内存价格在一年内翻了约 5 倍，这使得模型公司的推理成本居高不下。

传统的模型压缩方法主要有三种：量化（Quantization）、剪枝（Pruning）和知识蒸馏（Distillation）。其中量化是最直接、工程上最成熟的手段。但传统量化路线存在明显的天花板：

INT8 量化将 BF16 精度从 16 bit 压缩到 8 bit，获得 2 倍显存节省，能力保留率约 85％-95％。INT4 量化进一步压缩到 4 bit，获得 4 倍显存节省，但能力保留率下降到 80％-90％。而1-bit 二值量化（权重只取 -1 或 +1）虽然理论压缩比最高，但信息损失过于严重，几乎无法在通用任务上保持可用性能。

1.58-bit 三值量化恰好找到了一个平衡点。通过引入 0 值，它既保留了数学表达的对称性（正负值），又提供了稀疏性（0 值意味着该连接可以完全跳过计算）。在极致压缩比和信息保留率之间，1.58-bit 是目前已知的最优解。

面壁智能 AI Infra 负责人李宇轩在接受媒体采访时精辟地总结了这一点：「如何用最便宜的芯片跑出最大的智能，这就是端侧模型最核心的问题。 1.58-bit 是单位内存占用下，知识密度承载量最优的状态。」

1.58 这个数字看起来很奇怪——为什么不是整数？要理解这个问题，需要从信息论的角度出发。

三值量化的核心思想是用 {-1, 0, +1} 三个值来表示每个权重参数。 这三个值的选择并非随意，而是基于深刻的数学考量。

从信息论角度看，每个三值参数的理论信息熵是 log₂(3) ≈ 1.585 bit。这意味着理论上我们只需要约 1.585 bit 就能无损编码一个三值参数。这个数字就是「1.58-bit」名称的由来。

为什么不能直接用 1-bit 二值化？因为二值化（只取 -1 或 +1）无法同时兼顾数学表达的对称性与含零特性。缺少 0 值意味着所有连接都必须参与计算，无法实现稀疏性；同时二值化的表达能力受限，导致精度损失巨大。而引入 0 值后，模型可以在训练中自然地将不重要的连接归零，实现有效的稀疏化。

三值量化的数学优势体现在三个方面：

对称性：-1 和 +1 提供了对称的正负表达能力，可以表示权重对激活值的正向和负向影响。这是任何有效权重表示的基础。

稀疏性：0 值使得模型可以「关闭」不重要的连接。在推理阶段，0 值对应的乘法运算可以直接跳过，这不仅是存储压缩，也是计算加速的来源。研究表明，在训练良好的三值模型中，约 30％-50％ 的权重会收敛到 0。

信息密度：虽然每个参数只有 1.58 bit，但通过量化感知训练（QAT），模型能够在训练过程中主动学习如何在三值约束下最大化知识承载量。这不是压缩后的被动损失，而是训练中的主动优化。

此外，三值权重的硬件友好性极高。-1、0、+1 的乘法可以简化为加法、跳过和符号翻转，这比 INT4 或 INT8 的乘法要简单得多。在专用 NPU 或 DSP 上，三值运算可以利用特殊的硬件指令实现极高的吞吐量。

1.58-bit 量化之所以能在保持 90％-97.2％ 能力保留率的同时实现 6 倍显存压缩，核心在于它不是「训练后再压缩」的后训练量化（PTQ），而是从训练开始就进入三值状态的量化感知训练（QAT）。

后训练量化（PTQ）的局限性：传统 PTQ 先用 BF16 完成模型训练，再将权重压缩到 INT8 或 INT4。这种方法的优点是实现简单，但缺点是压缩过程不可逆——训练时学到的精细权重分布在压缩后被强制离散化，信息损失不可恢复。对于 1.58-bit 这样极端的压缩比，PTQ 的能力保留率通常不足 80％。

量化感知训练（QAT）的核心思想：在训练的前向传播中使用三值权重（-1, 0, +1），在反向传播中使用全精度残差来更新权重。具体实现是通过直通估计器（Straight-Through Estimator, STE）：

在前向传播中，权重被量化函数映射为三值：w_q = sign(w) 当 |w| > 阈值，否则为 0。在反向传播中，梯度绕过量化函数的不可导部分，直接传递给全精度权重。这使得模型能够在训练过程中「感受到」量化带来的信息损失，并主动调整权重以最小化这种损失。

面壁智能的 QAT 方案包含三个关键创新：

第一阶段：先量化，再蒸馏。李宇轩将这一策略比喻为「教导一个天资有限但勤奋的学生」——如果过早引入复杂的蒸馏机制，低比特模型反而难以收敛。正确的做法是先让三值模型通过 QAT 进入稳定的收敛态，然后再引入全精度教师模型进行知识传递。

第二阶段：数据配比的精细调优。低比特模型对数据质量极度敏感，因为信息容量有限，必须确保每一比特都学到最有价值的知识。团队通过更精细的数据配比（增加高质量数据的权重、减少噪声数据的影响），以抵消位宽压缩带来的信息损失。

第三阶段：后训练蒸馏（Post-Training Distillation）。在 QAT 收敛后，使用同尺寸的全精度 MiniCPM4 模型作为教师，对三值模型进行知识蒸馏。这一阶段的关键在于蒸馏温度的选择和损失函数的设计——温度过高会导致教师模型的「软标签」过于平滑，低比特学生模型难以学习；温度过低则无法传递足够的知识。

在昇腾平台上的工程适配：BitCPM-CANN 团队基于 MindSpeed x Megatron-LM 主干搭建了完整的低比特训练底座，包含环境适配、32K 长序列支持、并行策略、融合算子等完整工程体系。相比全精度训练，低比特训练的计算量并没有显著降低——量化感知训练需要额外的前向和反向传播来模拟量化效果，反而会增加一些开销。但推理阶段的收益是巨大的。

2026 年 5 月 23 日，在华为昇腾开发者大会上，面壁智能联合清华大学、OpenBMB 开源社区正式发布了 BitCPM-CANN——全球首个完全基于国产华为昇腾平台训练并开源的三值（1.58-bit）大模型。

这一成果的意义远超技术本身：它证明了国产算力平台有能力承载复杂的低比特预训练算法，实现了国产模型、框架与芯片的协同。此前，极低比特模型训练依赖英伟达 CUDA 生态进行算法验证，而 BitCPM-CANN 从量化算子、训练算法到全链路框架均在华为昇腾原生环境中完成。

BitCPM-CANN 的四个模型尺寸：

8B 模型的推理表现尤为突出：BF16 版本需要 16.2GB 显存，而 1.58-bit 版本仅需 2.7GB，降低 83％。首 Token 延迟从 180ms 降低到 95ms，提升 47％。在中英双语通用能力上的保留率达到 95％-97％，在 MMLU、C-Eval、HumanEval 等标准测试集上，与 MiniCPM4 8B 全精度版本相差不到 3 个百分点。

训练过程的技术细节：8B 模型在昇腾 910B 集群上训练约 2-3 周。相比全精度训练，低比特训练的计算吞吐量损失控制在仅 5％ 的水平。团队在昇腾上完整部署了量化感知训练与后训练蒸馏流程，并将可插拔的 QAT 并行线性层嵌入 Megatron-LM 框架，统一了 checkpoint 格式并支持 32K 长序列训练。

适配国产算力的主要挑战：面壁智能 AI Infra 负责人李宇轩指出，适配国产算力的主要挑战不在硬件，而在软件生态。面对编程环境差异，团队花了大概一个月时间才打通底层软件栈。一旦打通，整个训练流程——前向计算、反向传播、量化算子的实现、分布式训练的调度——全部在昇腾上原生完成，中间不需要去 CUDA 上跑一遍验证再搬回来。

BitCPM-CANN 已全面开源：0.5B、1B、3B、8B 四个尺寸的模型权重已上传到 HuggingFace 和 ModelScope，训练代码、推理框架、评测脚本也一并开源。这意味着任何想在昇腾上做低比特训练的团队，都可以直接基于这套公共底座开始工作，不需要再从零开始踩坑。

import torch
import torch.nn as nn
import numpy as np

def ternarize_weights(weight: torch.Tensor, threshold: float = 0.05) -> torch.Tensor:
    """将 BF16 权重转换为三值权重 {-1, 0, +1}
    
    Args:
        weight: 原始权重张量 (BF16/FP32)
        threshold: 量化阈值，低于此值的权重归零
    
    Returns:
        三值权重张量
    """
    # 计算缩放因子
    scale = weight.abs().mean()
    if scale < 1e-8:
        return torch.zeros_like(weight)
    
    # 归一化并三值化
    normalized = weight / scale
    ternary = torch.zeros_like(weight)
    ternary[normalized > threshold] = 1.0
    ternary[normalized < -threshold] = -1.0
    # 介于 -threshold 和 threshold 之间的保持为 0
    
    return ternary

class TernaryLinear(nn.Module):
    """三值线性层：前向使用三值权重，反向使用全精度残差"""
    
    def __init__(self, in_features: int, out_features: int):
        super().__init__()
        # 全精度权重（用于梯度更新）
        self.weight_fp = nn.Parameter(
            torch.randn(out_features, in_features) * 0.02
        )
        self.threshold = 0.05
    
    def forward(self, x: torch.Tensor) -> torch.Tensor:
        # STE 直通估计器：前向三值，反向全精度
        ternary_w = ternarize_weights(self.weight_fp, self.threshold)
        
        # 前向传播使用三值权重
        # 反向传播时梯度直接传给 self.weight_fp
        return nn.functional.linear(x, ternary_w)

# 使用示例
layer = TernaryLinear(1024, 1024)
x = torch.randn(32, 1024)
output = layer(x)
print(f"输出形状: {output.shape}")
print(f"三值权重分布: -1={((layer.weight_fp/layer.weight_fp.abs().mean())<-0.05).sum().item()}, "
      f"0={((layer.weight_fp/layer.weight_fp.abs().mean()).abs()<0.05).sum().item()}, "
      f"+1={((layer.weight_fp/layer.weight_fp.abs().mean())>0.05).sum().item()}")

1.58-bit 量化在训练阶段的核心挑战是如何在三值约束下保持模型能力，而在推理阶段的核心挑战则是如何高效执行三值运算。

三值推理的硬件优势：-1、0、+1 的权重使得矩阵乘法可以大幅简化。对于输入激活值 x 和三值权重 w：

当 w = 0 时：跳过该计算（稀疏性带来的零计算）
当 w = +1 时：结果 = x（直接传递）
当 w = -1 时：结果 = -x（符号翻转）

这意味着三值矩阵乘法完全不需要传统的乘法器，只需要加法器和符号位翻转即可。在专用 NPU 或 DSP 上，这可以转化为极高的计算吞吐量和极低的功耗。

高通端侧芯片的低比特原生支持：高通的 Snapdragon 8 Elite 等新一代端侧芯片已经开始支持低比特推理。芯片厂商早就把跑道铺好了，就差一个好模型。BitCPM-CANN 的 1.58-bit 权重刚好跟硬件能力完美匹配。

显存红利带来的部署灵活性：6 倍显存压缩意味着：

原本只能跑 4B 模型的芯片，现在可以跑 8B 模型
原本需要高端旗舰机才能运行的 8B 模型，现在中端机型也能流畅运行
结合 MoE（混合专家模型）和 Offloading（显存卸载）技术，未来甚至可能把 60B 级别的模型塞进笔记本电脑和平板

与其他量化方案的对比：

推理引擎选择：目前 1.58-bit 模型的推理主要依赖于专用的推理框架。面壁智能的 CPM.cu 框架支持三值推理，但主要面向 CUDA 生态。对于昇腾平台，需要使用华为的 CANN 推理引擎。对于端侧部署（手机、车机等），需要针对目标芯片的 NPU SDK 进行适配。

量化精度与激活值的平衡：1.58-bit 主要压缩的是权重参数，而激活值（Activation）通常仍需保持较高精度。BitCPM-CANN 采用权重三值化 + 激活 INT8 的混合精度方案，在推理时既能享受权重的极致压缩，又能保持激活值的足够精度。

import torch
import torch.nn as nn
from typing import Tuple

class TernaryInferenceEngine:
    """三值推理引擎：利用 -1/0/+1 特性优化矩阵乘法"""
    
    def __init__(self, weights: torch.Tensor, scale: float = 1.0):
        """初始化三值推理引擎
        
        Args:
            weights: 三值权重张量 {-1, 0, +1}
            scale: 缩放因子（可选）
        """
        assert set(weights.unique().tolist()).issubset({-1.0, 0.0, 1.0}),             "权重必须是三值 {-1, 0, +1}"
        self.weights = weights
        self.scale = scale
        # 预计算稀疏掩码（加速 0 值跳过）
        self.nonzero_mask = (weights != 0)
        self.positive_mask = (weights == 1.0)
        self.negative_mask = (weights == -1.0)
    
    def forward(self, x: torch.Tensor) -> torch.Tensor:
        """高效三值矩阵乘法
        
        利用三值特性：
        - w=0: 跳过（稀疏加速）
        - w=+1: 直接传递输入
        - w=-1: 符号翻转
        """
        # 方案一：掩码加速（适合稀疏度高的权重）
        sparse_ratio = 1.0 - self.nonzero_mask.float().mean()
        if sparse_ratio > 0.3:
            return self._sparse_forward(x)
        # 方案二：直接三值运算（适合稀疏度低的权重）
        return self._dense_forward(x)
    
    def _sparse_forward(self, x: torch.Tensor) -> torch.Tensor:
        """稀疏加速前向传播"""
        # 只计算非零权重的位置
        pos_contrib = torch.where(self.positive_mask, x, 0).sum(dim=-1)
        neg_contrib = torch.where(self.negative_mask, x, 0).sum(dim=-1)
        return self.scale * (pos_contrib - neg_contrib)
    
    def _dense_forward(self, x: torch.Tensor) -> torch.Tensor:
        """密集三值前向传播"""
        result = torch.zeros(x.shape[:-1] + (self.weights.shape[0],), 
                           device=x.device, dtype=x.dtype)
        # +1 权重：累加对应输入
        result += torch.matmul(x, self.positive_mask.float())
        # -1 权重：减去对应输入
        result -= torch.matmul(x, self.negative_mask.float())
        return self.scale * result
    
    def get_compression_ratio(self, original_bits: int = 16) -> float:
        """计算压缩比"""
        return original_bits / 1.585

# 使用示例
print("=== 三值推理引擎示例 ===")
weights = torch.tensor([[1.0, 0.0, -1.0, 1.0],
                        [0.0, -1.0, 1.0, 0.0],
                        [1.0, 1.0, 0.0, -1.0]])
engine = TernaryInferenceEngine(weights)
x = torch.tensor([[0.5, -0.3, 0.8, -0.2]])
output = engine.forward(x)
print(f"输入: {x.shape} -> 输出: {output.shape}")
print(f"稀疏度: {1.0 - engine.nonzero_mask.float().mean():.1％}")
print(f"压缩比: {engine.get_compression_ratio():.1f}x")

1.58-bit 量化的真正潜力在于与其他模型压缩技术的叠加使用。其中最令人兴奋的组合是1.58-bit 量化 + MoE（混合专家模型）。

MoE 的核心思想：模型包含多个「专家」子网络，但每个输入只激活其中一部分专家。例如，一个 60B 参数的 MoE 模型，每次推理可能只激活 6B 参数。这意味着推理时的计算量相当于 6B 模型，但模型的知识容量却是 60B 级别的。

1.58-bit + MoE 的叠加效应：

首先，1.58-bit 将 60B 参数的存储需求从约 120GB（BF16）压缩到约 10GB。其次，MoE 将推理时的激活参数量从 60B 降低到约 6B（假设 10％ 激活率）。两者叠加后，60B 模型的显存占用约为 10GB，推理计算量相当于 6B 的 INT8 模型。

这意味着什么？ 10GB 的显存需求已经进入了高端手机和平板电脑的内存范围。李宇轩预判，随着低比特技术与稀疏化（MoE）技术的叠加，更大规模模型（如 60B）有望在 2027 年上端，进一步拉近端侧与云端的智能差距。

BitCPM-CANN 与 MoE 的结合路径：BitCPM-CANN 目前已经开源了 0.5B 到 8B 的密集模型（Dense Model）。未来，面壁智能计划将三值量化技术应用到 MiniCPM 的 MoE 架构中，实现「三值权重 + 稀疏激活」的双重压缩。这将使得更大规模的模型能够在端侧运行，同时保持较高的推理效率。

技术挑战：1.58-bit 与 MoE 的叠加并非简单的技术叠加。MoE 的路由器（Router）需要足够的精度来做出正确的专家选择决策，而三值量化的极端压缩可能会影响路由器的精度。因此，需要设计专门的路由器量化方案，可能需要在路由器和专家网络之间采用不同的量化精度。

此外，MoE 的训练本身就需要更多的计算资源（因为每个样本只激活部分专家，但所有专家都需要存储和更新）。将 MoE 与 1.58-bit 结合后，训练过程的复杂度会进一步增加。需要专门的训练基础设施和超参数调优经验。

尽管 1.58-bit 量化在显存压缩和能力保留率方面取得了突破性的进展，但它并非适用于所有场景。在决定是否采用 1.58-bit 方案之前，需要充分了解其局限性。

精度损失的分布不均匀：1.58-bit 量化的退化是平缓而非断崖式的，但不同任务的能力损失程度不同。李宇轩指出：「手机 AI 对代码能力要求不高，我们就可以尽可能把这部分损失通过后训练引导到代码能力上，把重点放在客户关注的指标上。」这意味着1.58-bit 模型在某些任务上的表现可能显著低于全精度模型，尤其是代码生成、复杂数学推理、长文本理解等高敏感度任务。

训练成本并未降低：虽然推理阶段的显存和计算成本大幅降低，但训练阶段的成本并没有显著减少。QAT 训练需要额外的前向和反向传播来模拟量化效果，反而可能增加一些开销。BitCPM-CANN 8B 模型在昇腾 910B 集群上训练了约 2-3 周，与同规模全精度模型相当。

推理框架生态尚不成熟：与 INT8/INT4 量化相比，支持 1.58-bit 三值推理的推理引擎数量极少。目前主要的选择包括面壁智能的 CPM.cu（面向 CUDA 生态）和华为 CANN 推理引擎（面向昇腾生态）。对于其他硬件平台（如 Apple NPU、高通 Hexagon），需要自行适配。

超参数调优敏感度高：QAT 训练的超参数（学习率、量化阈值、蒸馏温度等）对最终性能的影响远大于全精度训练。同样的训练配置在不同模型尺寸、不同数据集上可能需要完全不同的超参数。这需要大量的实验和经验积累。

激活值精度的限制：1.58-bit 主要压缩的是权重参数，而激活值仍需保持较高精度（如 INT8）。对于极长序列的处理，激活值的显存占用可能成为新的瓶颈。未来可能需要探索激活值的极低比特量化方案。

与现有模型的兼容性问题：如果你的项目已经基于全精度或 INT8 量化模型构建了完整的推理管线，迁移到 1.58-bit 需要重新验证整个管线。特别是对于使用了自定义算子或后处理逻辑的项目，迁移成本可能较高。

1.58-bit 低比特量化是一个快速发展的研究领域。以下是一些关键的学习资源，帮助你深入探索这个方向。

论文与研究报告：

「BitNet: A 1-bit Transformer for Large Language Models」——微软研究团队提出的 1.58-bit 量化的开创性论文，奠定了三值量化的理论基础。该论文证明了在 Transformer 架构中使用三值权重的可行性，并展示了在大规模语言模型上的初步效果。

「The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits」——微软研究团队的后续工作，将 1.58-bit 量化扩展到更大的模型规模，证明了该技术在多种架构和任务上的通用性。

「BitCPM-CANN Technical Report」——面壁智能与清华大学联合发布的技术报告，详细记录了在昇腾平台上实现 1.58-bit 训练的全流程，包括量化算子设计、训练策略和评测结果。

开源项目：

BitCPM-CANN（GitHub / HuggingFace / ModelScope）——0.5B 到 8B 全尺寸开源，包含训练代码、推理框架和评测脚本。这是目前最完整的 1.58-bit 开源实现。

BitNet（GitHub）——微软的 1.58-bit 量化参考实现，包含 PyTorch 训练代码和推理优化。

MiniCPM 系列（GitHub / HuggingFace）——面壁智能的端侧模型家族，MiniCPM4 是 BitCPM-CANN 的全精度教师模型。

实践建议：

如果你想在自己的项目中应用 1.58-bit 量化，建议按照以下步骤进行：

第一步：从 BitCPM-CANN 的开源代码开始，在昇腾平台上复现 0.5B 或 1B 模型的训练结果。验证整个训练管线的正确性。

第二步：将 1.58-bit QAT 训练策略迁移到你自己的模型架构上。注意调整量化超参数（学习率、阈值等），并在你的目标数据集上验证能力保留率。

第三步：在目标硬件平台上部署三值推理。如果目标平台没有现成的 1.58-bit 推理框架，可以参考 BitCPM-CANN 的量化算子实现，自行开发适配层。

第四步：探索 1.58-bit 与其他压缩技术（MoE、剪枝、知识蒸馏）的组合使用，进一步优化显存和计算效率。