北京
一个70亿参数的模型，用FP16存要14GB，压成INT8是7GB，压成INT4只剩3.5GB。同一套权重，换个存储格式，体积直接砍到四分之一。
这就是量化在做的事：把FP16参数映射到更小的整数格式上。FP16每个参数占2字节，INT8占1字节，INT4占0.5字节。参数量没变，每个参数占的格子变小了，推理时搬运数据的内存带宽压力也随之减半或降到四分之一。
但格子变小不是没有代价。朴素量化最怕的是离群权重——极少数极端值会把整个量化网格的范围撑大，绝大多数正常权重被挤进同一个量化区间里，精度损失随之而来，模型准确率明显下滑。
围绕这个问题，出现了两类补偿思路。
- GPTQ（2022）：用海森矩阵估计逐层误差，在量化前对权重做补偿，能在4个GPU小时内完成175B模型的INT4压缩，困惑度下降可以忽略。
- AWQ（2023）：根据激活模式识别出最重要的前1%权重并加以保护，其余权重自由量化，在边缘设备上最高可实现3倍加速。
量化的应用边界也在移动。DeepSeek-V3（2024）在大规模训练中把FP8混合精度贯穿前向传播、反向传播和优化器操作，显著降低了训练成本。训练量化和推理量化之间的界线，正在变得模糊。
落到实操层面，有几条路径可选：PTQ（训练后量化）与QAT（量化感知训练）之间的取舍，量化与蒸馏、剪枝的组合使用，以及对KV缓存做量化以支撑更长的上下文推理。
用一句话区分这几类压缩手段：蒸馏是换一个更聪明的学生，量化是让同一个模型穿上更合身的衣服——数还是那些数，只是格子变小了。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
