SkillPedia Skills Encyclopedia
中文 EN
今日更新 2026-11-17 UTC

今天还没有新提交

查看更新动态

AI 与大模型 · 前沿

量化(Quantization)

把模型内部数字的精度调低,让文件变小、跑得更快也更省内存。代价是效果会略微下降,属于有损压缩。

AI 与大模型 前沿 站内文案里出现过 22 次,涉及 10 个条目 450 字 约 1 分钟读完 51 次阅读

TL;DR三十秒版本

  1. 把模型内部那些数字记得粗一点,文件就小下来、跑起来也更省力。
  2. 它让原本塞不进普通电脑的大模型,能在笔记本甚至手机上跑起来。
  3. 这是有损的,精度压得越低,答难题时越容易出错。

Overview详细说说

模型内部存着数以十亿计的小数,也就是它的参数。这些数字记录得越精细,模型体积越大、占的内存越多。量化做的事,就是把这些数字换成精度更低的表示,比如从精细的小数降成粗糙一些的档位。

收益很直接。原始模型动辄几十 GB,普通笔记本根本放不下;量化之后体积可能压到原版的几分之一,内存占用随之下降,个人电脑甚至手机也能跑起来。想在本机使用开源模型,这一步多半绕不开。代价是模型会变得钝一点,答难题时更容易出错。

你在开源模型的下载页里见到的 GGUF、Q4、Q8 这类名字,指的就是不同档位的量化版本。名字里的 Q 就是量化的缩写,后面的数字表示保留多少位。档位越低,文件越小、跑得越快,和原版的差距也越明显。选哪一档,就是在速度和效果之间做取舍。

容易混淆的是量化和蒸馏。量化不重新训练,只是把已经训好的模型里的数字表示变粗糙,知识本身没有换;蒸馏则是让一个小模型去模仿大模型的输出,是重新训练出来的另一个模型。另外量化并非无损,效果通常会掉一点,只是多数日常场景下人未必察觉。同一个模型往往同时放出好几档,方便你按机器条件来挑。

Myths常见误解

  • 以为压过之后效果没变化 它是往粗里记,越压越钝,日常问题未必察觉,难题上差得出来
  • 以为量化就是又训练了一遍 它不重训,只是给训好的模型换个记法,知识本身没换
  • 以为量化和小模型是一回事 小模型是另训的一个模型,量化只是给同一个模型瘦身

In practice你会在哪用到它

  • 在开源模型下载页挑不同档位,按自己机器的条件来选
  • 笔记本内存不够时,换一个更小的量化版本再试
  • 同一件事既要效果好又想省机器,就拿几档实际比一比

Summary记住这几点就够了

  • 把模型内部参数的数值精度降低
  • 换来更小的体积、更快的速度、更低的内存占用
  • 让普通电脑和手机也能跑起大模型
  • 它只压缩已训好的模型,不重新训练

常见问题

量化(Quantization)是什么意思?

把模型内部那些数字记得粗一点,文件就小下来、跑起来也更省力。它让原本塞不进普通电脑的大模型,能在笔记本甚至手机上跑起来。这是有损的,精度压得越低,答难题时越容易出错。

量化(Quantization)一般用在什么地方?

在开源模型下载页挑不同档位,按自己机器的条件来选;笔记本内存不够时,换一个更小的量化版本再试;同一件事既要效果好又想省机器,就拿几档实际比一比。

关于量化(Quantization),最容易搞错的是什么?

以为压过之后效果没变化,其实它是往粗里记,越压越钝,日常问题未必察觉,难题上差得出来;以为量化就是又训练了一遍,其实它不重训,只是给训好的模型换个记法,知识本身没换。

量化(Quantization)要记住哪几点?

把模型内部参数的数值精度降低;换来更小的体积、更快的速度、更低的内存占用;让普通电脑和手机也能跑起大模型;它只压缩已训好的模型,不重新训练。

容易踩的坑 量化是有损的,档位压得越狠效果掉得越多,别只盯着文件有多小。

Also written as你可能还会看到这些写法

GGUF 模型量化

这些都是同一个概念,在技能介绍里指代的是同一件事 —— 不必因为写法不同而以为是两个东西。

全站第 23 / 186 条 · 全部词条

接着读Related reading

接着去哪Explore more

回到技能本身

词典里讲到的这些概念,大多一条命令就能装进你的 AI 客户端。