GPTQ
GPTQ大模型后训练量化
亦作、亦称：GPT Quantization
GPTQ 是一种面向大型生成式预训练 Transformer 的训练后权重量化方法，通过利用近似二阶（Hessian）信息逐层补偿量化误差，可在数小时内将百亿级参数模型压缩至 3-4 比特，同时保持极低的精度损失。
概述
GPTQ 是一种面向大型生成式预训练 Transformer 的训练后权重量化方法，通过利用近似二阶（Hessian）信息逐层补偿量化误差，可在数小时内将百亿级参数模型压缩至 3-4 比特，同时保持极低的精度损失。
背景与动机
大语言模型参数量爆炸式增长，导致推理部署成本高昂，训练后量化（PTQ）成为无需重新训练即可压缩模型的关键手段。
- 训练后量化（PTQ）：模型训练完成后直接对权重进行低比特压缩，无需昂贵的量化感知训练（QAT）
- OBQ 局限：此前的 Optimal Brain Quantization（OBQ）方法理论扎实但复杂度极高，压缩 175B 参数模型估计需耗时超 6 个月
- 工程需求：随着 GPT-3、OPT、BLOOM 等超大模型涌现，亟需能在数小时内完成压缩的实用方案
- 校准数据少：GPTQ 通常只需约 128 条样本估计 Hessian，无需完整训练数据集
核心机制
GPTQ 在 OBQ 框架基础上引入三项关键改进，使量化效率提升超过三个数量级。
- 逐层独立量化：每一 Transformer 层的权重矩阵单独量化，以该层输出误差为优化目标，不同层之间互不影响
- 固定顺序量化：放弃 OBQ 的贪心动态选权策略，改为按固定列顺序量化，允许同一 Hessian 信息在行间共享，大幅降低计算量
- Hessian 逆矩阵误差补偿：量化每列权重后，依据输入激活的 Hessian 逆矩阵 实时更新剩余未量化权重，补偿累积误差
- Cholesky 数值稳定化：预先用 Cholesky 分解 计算 Hessian 逆，有效避免大矩阵直接求逆时的数值不稳定问题
性能表现
GPTQ 在精度与效率两方面均显著优于此前最优的一次性量化方法。
- 压缩速度：可在约 4 GPU 小时内将 175B 参数模型（GPT-3 规模）量化至 3-4 比特
- 精度保留：4 比特量化后 困惑度（Perplexity） 损失可忽略不计，3 比特下仍保持可用精度
- 内存节省：相比 FP16，4 比特量化将模型权重内存降低约 4 倍，可实现单 GPU 运行 175B 模型推理
- 压缩率领先：相比此前一次性量化方法，压缩收益提升超过两倍
工程部署
GPTQ 已成为本地大模型部署生态中最广泛使用的量化格式之一。
- 主流框架支持：vLLM、HuggingFace TGI、AutoGPTQ 及 ExLlamaV2 等均原生支持 GPTQ 格式
- GPU 推理加速：结合 CUDA 自定义算子可获得实际推理加速，尤其适合 NVIDIA GPU 上的批量推理
- 量化位宽选择：实践中以 4 比特 最为常用；3 比特可进一步压缩但精度有所下降；2 比特则精度损失较大
- 预量化模型分发：Hugging Face Hub 上覆盖 LLaMA、Mistral、Qwen 等主流开源模型的 GPTQ 预量化版本，可直接下载
与同类方法对比
在训练后量化领域，GPTQ 与 AWQ、GGUF 量化及 QAT 各有侧重。
- GPTQ vs AWQ：AWQ（Activation-aware Weight Quantization）关注激活异常值通道并对关键权重保护精度，量化速度更快；GPTQ 工具链更成熟、社区存量模型更多
- GPTQ vs GGUF：GGUF 是 llama.cpp 采用的格式，主要面向 CPU 推理；GPTQ 面向 GPU 加速推理，两者格式不互通
- GPTQ vs QAT：量化感知训练精度更高但需重新训练，成本远高于 GPTQ 的离线压缩路线
- GPTQ vs bitsandbytes NF4：NF4（用于 QLoRA）无需预先 Hessian 计算，更便捷；GPTQ 在相同比特宽度下通常精度更优
局限与注意事项
GPTQ 并非万能，使用时需注意以下局限。
- 量化耗时较长：对 70B 规模模型完成一次量化可能需要数小时，且需足够显存保存中间激活
- 校准数据敏感：若校准数据与实际推理数据分布差距过大，可能引入额外误差
- 超低比特精度下滑：2-3 比特时 困惑度 仍有明显上升，不适合高精度任务
- 格式兼容性：不同实现库（AutoGPTQ、ExLlamaV2 等）的 GPTQ 格式并不完全互通，跨库迁移需注意版本兼容
发展脉络
GPTQ 的二阶量化思路有深厚学术渊源，近年随开源 LLM 的普及迅速走红。
- 1990 年代：LeCun 等提出 Optimal Brain Damage，Hassibi 等提出 Optimal Brain Surgeon，奠定二阶剪枝与量化的理论基础
- 2022 年初：Frantar 等提出 OBQ（Optimal Brain Quantization），将经典框架现代化并扩展至大规模神经网络
- 2022 年 10 月：GPTQ 论文发布（arXiv:2210.17323），首次实现大规模 LLM 的实用一次性二阶 PTQ
- 2023 年：论文被 ICLR 2023 收录；AutoGPTQ、ExLlamaV2 工具成熟，Hugging Face Hub 上 GPTQ 量化模型规模迅速扩大
- 2024 年：AWQ 等方案形成竞争，但 GPTQ 凭借更成熟工具链继续保持广泛使用
- 2026 年：ISTA 团队发表后续工作，从格几何视角（Babai 最近平面算法）揭示 GPTQ 的数学本质，发表于 ICLR 2026
常见误解
日常交流中容易听到的简化说法，未必准确，但能帮助理解误解从何而来。
- 「大模型后训练量化」
- 「4bit 本地部署常见方法」
- 「用二阶近似减少量化误差」
相关术语
和本术语关联紧密的其他词条，便于串联理解。
🎯 考点练习
含该术语的高频面试题，含标准答案与追问。
- 中级概念高频查看详解 →
大模型量化（INT8/INT4）是如何压缩模型的？有什么代价？
量化把 FP16 权重映射到低比特整数，靠 scale/zero-point 还原，显著降显存与带宽，代价是精度损失，需 GPTQ/AWQ 等算法补偿。
- 中级概念高频查看详解 →
解释「受限发布」（gated release）模式的含义，以及它对AI开发者日常工作流的影响
2026年6月，美国政府首次对商业AI模型实施出口管制，GPT-5.6仅向20家机构开放预览，Mythos 5被限制在100家组织内使用。受限发布模式开创了「政府审批→企业发布」的新先例，前沿AI的发布方式正在被永久改变。
- 高级系统设计高频查看详解 →
当AI工具链因地缘政治分裂时，如何设计一个能同时支持国产和进口芯片+模型的「主权对冲」架构？
GPT-5.6限制发布与GLM-5.2开源对标标志着AI工具链从「全球共享」走向「主权分割」。设计一个能同时支持国产芯片（昇腾/寒武纪）和进口芯片（NVIDIA/AMD）、国产模型（GLM-5.2/Qwen-3）和海外模型（GPT-5.6/Claude）的「主权对冲」架构，成为企业AI基础设施的新刚需。
- 初级概念高频查看详解 →
什么是大语言模型（LLM）？它能做什么、不能做什么？
LLM 是基于 Transformer、在海量文本上预训练的自回归语言模型，擅长语言任务，但不擅长精确计算、实时信息，且会产生幻觉。
延伸阅读
从知识库精选 3 篇文章，帮助深入理解该术语。
- 1
模型量化与压缩：从 FP32 到 INT4 的完整指南（ML 全场景）
系统讲解模型量化与压缩的核心技术——从 PTQ/QAT 实战到知识蒸馏与结构化剪枝，涵盖 INT8、INT4 等主流方案在 ML 全场景的应用
- 2
端侧 AI 技术路线：从 NPU 到 Agent 的完整指南
系统讲解端侧 AI（Edge AI）的完整技术体系——从为什么需要端侧 AI 出发，深入解析 NPU/APU/GPU 三大端侧 AI 处理器架构，对比联发科天玑、高通骁龙、苹果 A/M 系列芯片的 AI 能力差异，探讨端侧模型压缩技术（量化/剪枝/蒸馏/知识蒸馏），并展望端侧 Agent 时代的到来。本文是理解 AI 从云端走向设备端的技术必读。
- 3
LLM 推理优化：量化、剪枝、蒸馏与推理加速实战
系统讲解大语言模型推理优化的四大核心技术——量化（Quantization）、剪枝（Pruning）、知识蒸馏（Knowledge Distillation）和推理引擎加速，覆盖从原理到实战的完整链路
