SkillPedia Skills Encyclopedia
中文 EN
今日更新 2026-11-17 UTC

今天还没有新提交

查看更新动态

AI 与大模型 · 前沿

蒸馏(Distillation)

一种训练方法:让一个小模型大量模仿大模型的回答,把本事浓缩过来。目的是在尽量保住效果的前提下,把模型做小做快、少花钱。

AI 与大模型 前沿 站内文案里出现过 104 次,涉及 45 个条目 473 字 约 1 分钟读完 74 次阅读

TL;DR三十秒版本

  1. 一种训练方法:让一个小模型大量模仿大模型的回答,把本事浓缩过去。
  2. 目的是把模型做小做快又少花钱,好塞进手机或被高频调用。
  3. 学生通常接近老师但略逊一筹,尤其在没见过的题上。

Overview详细说说

知识蒸馏是一种训练方法。先有一个又大又强、但跑起来很贵的模型,称为老师;再让一个小模型当学生,去大量模仿老师的回答。学生学到的不是标准答案,而是老师解题的思路,所以常常比自己闷头训练要强。

大模型准确但笨重,放到手机里,或者要同时服务很多人时就太贵。蒸馏想在尽量保住本事的前提下,把模型做小、做快,省内存也省电,让它能在更多地方跑得动。

你看到某个工具说“这个模型是从大模型蒸馏来的”,意思是它是个小个子版本,能力接近老师但更轻便,适合本地运行或者被高频调用。手机、浏览器插件,或者要同时接待很多用户的场景,通常就靠这类小模型撑着。

蒸馏不是“把模型压缩一下”那么简单,它需要重新训练一个学生模型。学生也不可能完全达到老师的水平,通常是接近但略逊。它和量化不是一回事:量化是压缩已经训好的模型,蒸馏是重新训出一个,目的都是让模型更轻,走的却是两条完全不同的路。

常见的做法不只是让学生照着正确答案学,还让它对齐老师的“偏好”,也就是老师更倾向于选哪个词。这样学出来,学生连老师的分寸感都能沾上一点,这也是它比单纯拿标准答案训练更有效的地方。

Myths常见误解

  • 以为蒸馏就是把大模型压扁一点 压缩是给同一个模型瘦身,蒸馏是重新训练出另一个小模型
  • 以为学生能超过老师 它是照着老师的回答学的,上限就在老师那一档,通常还低一点

In practice你会在哪用到它

  • 看到某个模型标着“由大模型蒸馏而来”,就知道它是轻便版
  • 要在手机上做不联网的问答时,选这类小模型
  • 同一件事要被反复调用几万次时,用它压住成本

Summary记住这几点就够了

  • 让小模型大量模仿大模型的回答
  • 目的是把模型做小做快、省成本
  • 学生通常接近老师但略逊一筹
  • 和压缩已有模型的量化是两回事

常见问题

蒸馏(Distillation)是什么意思?

一种训练方法:让一个小模型大量模仿大模型的回答,把本事浓缩过去。目的是把模型做小做快又少花钱,好塞进手机或被高频调用。学生通常接近老师但略逊一筹,尤其在没见过的题上。

蒸馏(Distillation)一般用在什么地方?

看到某个模型标着“由大模型蒸馏而来”,就知道它是轻便版;要在手机上做不联网的问答时,选这类小模型;同一件事要被反复调用几万次时,用它压住成本。

关于蒸馏(Distillation),最容易搞错的是什么?

以为蒸馏就是把大模型压扁一点,其实压缩是给同一个模型瘦身,蒸馏是重新训练出另一个小模型;以为学生能超过老师,其实它是照着老师的回答学的,上限就在老师那一档,通常还低一点。

蒸馏(Distillation)要记住哪几点?

让小模型大量模仿大模型的回答;目的是把模型做小做快、省成本;学生通常接近老师但略逊一筹;和压缩已有模型的量化是两回事。

容易踩的坑 它是重新训练一个小模型,不是把大模型简单压缩一下,两者别弄混。

全站第 13 / 186 条 · 全部词条

接着读Related reading

接着去哪Explore more

回到技能本身

词典里讲到的这些概念,大多一条命令就能装进你的 AI 客户端。