经过前面章节的微调和对齐后，我们得到了一座包含上百亿参数的模型权重金字塔。 但在部署环节，一个严峻的工程问题摆在面前：显存墙（Memory Wall）。 以一个 70B（700亿参数）的开源大模型为例，如果使用标准的 16 位浮点数（FP16/BF16）保存参数，仅静态加载模型本身就需要消耗约 140GB 的物理显存空间。这远远超出了普通消费级显卡（如 RTX 4090 的 24GB）的承载极限。
如果想在有限资源的单卡机器甚至个人笔记本上跑起这个庞然大物，行业给出的标准解法就是**模型量化（Quantization）**技术。本章将带您了解这一核心的算力降维手段。
1. 原理解析：数据类型的降级与舍入
所谓的量化，本质上是对表示数字精度的数据格式进行有损压缩的工程。我们通过用更少比特位的数据类型（如 8 位整数，或 4 位整数）来替代原本占用较高存储空间的 16 位浮点数。
1.1 从 FP16 到 INT8：丢弃长尾精度
标准神经元权重在训练阶段使用的是高精度的浮点数（例如能精确到小数点后五位的 3.14159）。在将这些参数映射为 INT8 量化格式时，系统会设立一个映射阈值范围：
对于给定的张量块，找到其中的最大值，将高精度区间按比例“缩放映射（Scale Mapping）”和“四舍五入”到了从 -128 到 127 这一组有限整数的格子中。3.14159 可能会被直接截断保留成整数 3 并记录比例尺。
通过这种暴力丢弃小数点后微小误差变化的做法，每一个参数占用的物理显存硬生生砍掉了一半（从 16 bit 压缩为 8 bit）。整个 140GB 的大模型，瞬间体积缩水至约 70GB。
[图片占位:(A clean, minimalist technical diagram on a solid white background. Use simple, crisp vector line art, monochrome or with very subtle minimal color accents (like one shade of blue). Flat design, no 3D effects, no clutter. Draw a long ruler with many fine gradient ticks representing high precision. Below it, draw a much shorter ruler with only a few coarse blocking ticks, showing the mapping from fine to coarse precision.)]
1.2 INT4 的极限压榨与分组量化
如果继续挑战硬件极限，将位宽压缩至 INT4（4 位整数） 级别，每个参数只能被映射在 -8 到 7 共计仅存 16 个格子的极粗糙区间内。 随之而来的副产品是量化误差（Quantization Error）带来的性能损耗，在极端情况下会导致模型“变笨”或出现幻觉。
为了在极致压缩和智商严重滑坡之间找到平衡，工业界设计了更为精妙的量化算法：譬如 AWQ、GPTQ 系列算法。 他们并非对全图使用统一的简单四舍五入缩放尺；而是找出了神经元网络中那些对计算结果影响力异常突出的极高响应权重（Outliers）。模型会主动选择对这少量但关键的权重维持使用相对高的浮点精度存放，而对其余大量影响甚微的平庸底层参数施加极为激进彻底的 INT4 狂暴打包压缩。以此保证模型以几乎无损的智力，被强缩进了 35GB 左右（原来四分之一）的空间。
[图片占位:(A clean, minimalist technical diagram on a solid white background. Use simple, crisp vector line art, monochrome or with very subtle minimal color accents (like one shade of blue). Flat design, no 3D effects, no clutter. Draw a grid of squares. Most squares are shaded light grey. A few isolated scattered squares are shaded bright solid blue or outlined specifically, representing protected high-weight outliers.)]
2. 工程落地形态与格式：GGUF 与 llama.cpp
将模型压缩完毕后，如何将其顺滑地推送到诸如 Mac 或者个人台式机的内存中？
目前的常见形态是 GGUF 格式。得益于 Georgi Gerganov 以及庞大繁荣开源社区建立的跨平台纯 C/C++ 运行时环境：llama.cpp，这些 INT 级别的极小整数格式不仅可以完全不依赖繁重庞大的 Python 库与 PyTorch 运行；并且能够在消费级架构的 CPU（系统内存）与轻量显卡（显存）之间实现智能切分与双轨流转计算混合处理。
这也促使当今 8B 级别的现代模型在全链路 INT4 量化后，仅仅占用大约 4.5 GB 的手机端/本本常驻运存。这正式按下了全民普惠级“端侧大模型时代”以及私有化轻量部署浪潮。
下一章预告： 当模型静态权重的显存由于被成功压缩至单卡极限之内后。在服务外部用户的多轮问询对话和极长文本（上下文环境）时，如何管理由于源源不断累加的生字过程导致的“动态运转算力存储泄漏”？请见第 7 阶段核心技术的关键篇章：7.2 突破推理显存瓶颈：KV Cache与vLLM的显存管理优化。