AI 与大模型 · 前沿
蒸馏(Distillation)
一种训练方法:让一个小模型大量模仿大模型的回答,把本事浓缩过来。目的是在尽量保住效果的前提下,把模型做小做快、少花钱。
TL;DR三十秒版本
- 一种训练方法:让一个小模型大量模仿大模型的回答,把本事浓缩过去。
- 目的是把模型做小做快又少花钱,好塞进手机或被高频调用。
- 学生通常接近老师但略逊一筹,尤其在没见过的题上。
Overview详细说说
知识蒸馏是一种训练方法。先有一个又大又强、但跑起来很贵的模型,称为老师;再让一个小模型当学生,去大量模仿老师的回答。学生学到的不是标准答案,而是老师解题的思路,所以常常比自己闷头训练要强。
大模型准确但笨重,放到手机里,或者要同时服务很多人时就太贵。蒸馏想在尽量保住本事的前提下,把模型做小、做快,省内存也省电,让它能在更多地方跑得动。
你看到某个工具说“这个模型是从大模型蒸馏来的”,意思是它是个小个子版本,能力接近老师但更轻便,适合本地运行或者被高频调用。手机、浏览器插件,或者要同时接待很多用户的场景,通常就靠这类小模型撑着。
蒸馏不是“把模型压缩一下”那么简单,它需要重新训练一个学生模型。学生也不可能完全达到老师的水平,通常是接近但略逊。它和量化不是一回事:量化是压缩已经训好的模型,蒸馏是重新训出一个,目的都是让模型更轻,走的却是两条完全不同的路。
常见的做法不只是让学生照着正确答案学,还让它对齐老师的“偏好”,也就是老师更倾向于选哪个词。这样学出来,学生连老师的分寸感都能沾上一点,这也是它比单纯拿标准答案训练更有效的地方。
Myths常见误解
- ✕以为蒸馏就是把大模型压扁一点 ✓压缩是给同一个模型瘦身,蒸馏是重新训练出另一个小模型
- ✕以为学生能超过老师 ✓它是照着老师的回答学的,上限就在老师那一档,通常还低一点
In practice你会在哪用到它
- 看到某个模型标着“由大模型蒸馏而来”,就知道它是轻便版
- 要在手机上做不联网的问答时,选这类小模型
- 同一件事要被反复调用几万次时,用它压住成本
Summary记住这几点就够了
- 让小模型大量模仿大模型的回答
- 目的是把模型做小做快、省成本
- 学生通常接近老师但略逊一筹
- 和压缩已有模型的量化是两回事
常见问题
蒸馏(Distillation)是什么意思?
一种训练方法:让一个小模型大量模仿大模型的回答,把本事浓缩过去。目的是把模型做小做快又少花钱,好塞进手机或被高频调用。学生通常接近老师但略逊一筹,尤其在没见过的题上。
蒸馏(Distillation)一般用在什么地方?
看到某个模型标着“由大模型蒸馏而来”,就知道它是轻便版;要在手机上做不联网的问答时,选这类小模型;同一件事要被反复调用几万次时,用它压住成本。
关于蒸馏(Distillation),最容易搞错的是什么?
以为蒸馏就是把大模型压扁一点,其实压缩是给同一个模型瘦身,蒸馏是重新训练出另一个小模型;以为学生能超过老师,其实它是照着老师的回答学的,上限就在老师那一档,通常还低一点。
蒸馏(Distillation)要记住哪几点?
让小模型大量模仿大模型的回答;目的是把模型做小做快、省成本;学生通常接近老师但略逊一筹;和压缩已有模型的量化是两回事。
容易踩的坑 它是重新训练一个小模型,不是把大模型简单压缩一下,两者别弄混。
全站第 13 / 186 条 · 全部词条
接着读Related reading
智能体(Agent)
一种能自己定目标、拆步骤、调用工具去完成任务的 AI 程序。你交给它一件事,它自己安排怎么做,而不是你问一句它才答一句。
LLM(大语言模型)
读过海量文字之后学会“接下一句”的超大程序。你输入的任何一句话,它都在猜后面最可能出现什么,写作、翻译、答题都是这一件事的不同用法。
嵌入(Embedding)
把一段文字换算成一串数字,让电脑能比较哪两句话意思更接近。搜索和知识库能在换了说法时也找对答案,靠的就是它。
Claude(大语言模型)
Anthropic 公司开发的大语言模型,以长文档理解和写作、写代码见长。它既是网页和手机里的聊天助手,也有专门的编程形态。
提示词(Prompt)
你发给 AI 的那段话,也就是给它的指令或提问。这一段写得好不好,直接决定它给你的答案对不对路。
MCP(模型上下文协议)
一套让 AI 能统一接上外部工具和数据的接口标准。工具按它做一次,各种 AI 助手就能直接调用,省得给每个工具单独写对接代码。