AI 与大模型 · 前沿
量化(Quantization)
把模型内部数字的精度调低,让文件变小、跑得更快也更省内存。代价是效果会略微下降,属于有损压缩。
TL;DR三十秒版本
- 把模型内部那些数字记得粗一点,文件就小下来、跑起来也更省力。
- 它让原本塞不进普通电脑的大模型,能在笔记本甚至手机上跑起来。
- 这是有损的,精度压得越低,答难题时越容易出错。
Overview详细说说
模型内部存着数以十亿计的小数,也就是它的参数。这些数字记录得越精细,模型体积越大、占的内存越多。量化做的事,就是把这些数字换成精度更低的表示,比如从精细的小数降成粗糙一些的档位。
收益很直接。原始模型动辄几十 GB,普通笔记本根本放不下;量化之后体积可能压到原版的几分之一,内存占用随之下降,个人电脑甚至手机也能跑起来。想在本机使用开源模型,这一步多半绕不开。代价是模型会变得钝一点,答难题时更容易出错。
你在开源模型的下载页里见到的 GGUF、Q4、Q8 这类名字,指的就是不同档位的量化版本。名字里的 Q 就是量化的缩写,后面的数字表示保留多少位。档位越低,文件越小、跑得越快,和原版的差距也越明显。选哪一档,就是在速度和效果之间做取舍。
容易混淆的是量化和蒸馏。量化不重新训练,只是把已经训好的模型里的数字表示变粗糙,知识本身没有换;蒸馏则是让一个小模型去模仿大模型的输出,是重新训练出来的另一个模型。另外量化并非无损,效果通常会掉一点,只是多数日常场景下人未必察觉。同一个模型往往同时放出好几档,方便你按机器条件来挑。
Myths常见误解
- ✕以为压过之后效果没变化 ✓它是往粗里记,越压越钝,日常问题未必察觉,难题上差得出来
- ✕以为量化就是又训练了一遍 ✓它不重训,只是给训好的模型换个记法,知识本身没换
- ✕以为量化和小模型是一回事 ✓小模型是另训的一个模型,量化只是给同一个模型瘦身
In practice你会在哪用到它
- 在开源模型下载页挑不同档位,按自己机器的条件来选
- 笔记本内存不够时,换一个更小的量化版本再试
- 同一件事既要效果好又想省机器,就拿几档实际比一比
Summary记住这几点就够了
- 把模型内部参数的数值精度降低
- 换来更小的体积、更快的速度、更低的内存占用
- 让普通电脑和手机也能跑起大模型
- 它只压缩已训好的模型,不重新训练
常见问题
量化(Quantization)是什么意思?
把模型内部那些数字记得粗一点,文件就小下来、跑起来也更省力。它让原本塞不进普通电脑的大模型,能在笔记本甚至手机上跑起来。这是有损的,精度压得越低,答难题时越容易出错。
量化(Quantization)一般用在什么地方?
在开源模型下载页挑不同档位,按自己机器的条件来选;笔记本内存不够时,换一个更小的量化版本再试;同一件事既要效果好又想省机器,就拿几档实际比一比。
关于量化(Quantization),最容易搞错的是什么?
以为压过之后效果没变化,其实它是往粗里记,越压越钝,日常问题未必察觉,难题上差得出来;以为量化就是又训练了一遍,其实它不重训,只是给训好的模型换个记法,知识本身没换。
量化(Quantization)要记住哪几点?
把模型内部参数的数值精度降低;换来更小的体积、更快的速度、更低的内存占用;让普通电脑和手机也能跑起大模型;它只压缩已训好的模型,不重新训练。
容易踩的坑 量化是有损的,档位压得越狠效果掉得越多,别只盯着文件有多小。
Also written as你可能还会看到这些写法
这些都是同一个概念,在技能介绍里指代的是同一件事 —— 不必因为写法不同而以为是两个东西。
全站第 23 / 186 条 · 全部词条
接着读Related reading
智能体(Agent)
一种能自己定目标、拆步骤、调用工具去完成任务的 AI 程序。你交给它一件事,它自己安排怎么做,而不是你问一句它才答一句。
LLM(大语言模型)
读过海量文字之后学会“接下一句”的超大程序。你输入的任何一句话,它都在猜后面最可能出现什么,写作、翻译、答题都是这一件事的不同用法。
嵌入(Embedding)
把一段文字换算成一串数字,让电脑能比较哪两句话意思更接近。搜索和知识库能在换了说法时也找对答案,靠的就是它。
Claude(大语言模型)
Anthropic 公司开发的大语言模型,以长文档理解和写作、写代码见长。它既是网页和手机里的聊天助手,也有专门的编程形态。
提示词(Prompt)
你发给 AI 的那段话,也就是给它的指令或提问。这一段写得好不好,直接决定它给你的答案对不对路。
MCP(模型上下文协议)
一套让 AI 能统一接上外部工具和数据的接口标准。工具按它做一次,各种 AI 助手就能直接调用,省得给每个工具单独写对接代码。