AI 与大模型 · 进阶
微调(Fine-tuning)
拿你自己的数据在已有模型上再训练一轮,让它更贴你的行业说法和表达习惯。要它记住资料该用知识库,要改它的行为习惯才用它。
TL;DR三十秒版本
- 拿你自己的例子在已有模型上再教一轮,让它更贴你的说法和习惯。
- 适合提示词怎么交代都说不清、要它稳定照一种腔调来的场合。
- 它调的是说话做事的路子,不是往脑子里塞一份随时能查的档案。
Overview详细说说
微调是在一个已经训练好的模型基础上,用你自己的数据再教它一轮。原来的模型什么都懂一点,微调之后会更偏向你的领域、你的语气。可以理解成新人已经上过学,再跟着你的团队集中熟悉一下业务。训练的目标不是让它知道更多事实,而是让它答得更合你的意。
需要它的场合,通常是提示词怎么说都说不清楚的时候。比如要模型稳定地模仿一种固定文风,或者熟练使用某个行业里很专门的说法,每次都在提问里长篇交代既费事又不稳定,把例子喂进去训练一轮更省心。还有一种常见用法,是让模型学会按固定格式输出,方便后面的程序接着处理。
分界线在这里:微调调整的是模型的行事习惯,不是往它脑子里塞一份随时能查的资料。你要它准确说出某份文档里的条款,该用知识库加检索;你要它一直按公司的口径讲话,微调才对路。两者可以配合使用,但解决的不是同一个问题。
门槛也不能低估。微调要准备成规模的、质量过关的数据,要算力,要时间,做完还得评估有没有变差。对大多数个人使用场景,把提示词写好、把资料放进知识库,往往已经够用,不必一上来就动它。更实际的做法是先用小规模数据试一轮,看效果再决定要不要加码。
Myths常见误解
- ✕以为它能让模型记住新资料 ✓要它准确说出某份文件的内容该用知识库,它管的是习惯不是事实
- ✕以为随便喂几条例子就够 ✓数据太少太杂,教进去的多半是噪音,反而可能把原来的本事弄差
- ✕以为一次做完永久有效 ✓换了模型或数据变了,还得重来一轮,它不会自己跟着更新
In practice你会在哪用到它
- 要模型稳定模仿一种固定文风时,收集一批范例教它一轮
- 让输出严格按某个固定格式来,方便后面的程序接着处理
- 手头只有几十条样本时,先别急着动它,把提问写好更划算
Summary记住这几点就够了
- 用自有数据在已训练好的模型上再训练一轮
- 适合提示词交代不清、需要稳定文风的场合
- 它调的是行为习惯,不是存放可查的资料
- 数据、算力、评估都有成本,个人场景常不划算
常见问题
微调(Fine-tuning)是什么意思?
拿你自己的例子在已有模型上再教一轮,让它更贴你的说法和习惯。适合提示词怎么交代都说不清、要它稳定照一种腔调来的场合。它调的是说话做事的路子,不是往脑子里塞一份随时能查的档案。
微调(Fine-tuning)一般用在什么地方?
要模型稳定模仿一种固定文风时,收集一批范例教它一轮;让输出严格按某个固定格式来,方便后面的程序接着处理;手头只有几十条样本时,先别急着动它,把提问写好更划算。
关于微调(Fine-tuning),最容易搞错的是什么?
以为它能让模型记住新资料,其实要它准确说出某份文件的内容该用知识库,它管的是习惯不是事实;以为随便喂几条例子就够,其实数据太少太杂,教进去的多半是噪音,反而可能把原来的本事弄差。
微调(Fine-tuning)要记住哪几点?
用自有数据在已训练好的模型上再训练一轮;适合提示词交代不清、需要稳定文风的场合;它调的是行为习惯,不是存放可查的资料;数据、算力、评估都有成本,个人场景常不划算。
容易踩的坑 只有几十条示例就指望模型脱胎换骨,通常达不到预期,数据规模和质量才是关键。
Also written as你可能还会看到这些写法
这些都是同一个概念,在技能介绍里指代的是同一件事 —— 不必因为写法不同而以为是两个东西。
全站第 29 / 186 条 · 全部词条
接着读Related reading
智能体(Agent)
一种能自己定目标、拆步骤、调用工具去完成任务的 AI 程序。你交给它一件事,它自己安排怎么做,而不是你问一句它才答一句。
LLM(大语言模型)
读过海量文字之后学会“接下一句”的超大程序。你输入的任何一句话,它都在猜后面最可能出现什么,写作、翻译、答题都是这一件事的不同用法。
嵌入(Embedding)
把一段文字换算成一串数字,让电脑能比较哪两句话意思更接近。搜索和知识库能在换了说法时也找对答案,靠的就是它。
Claude(大语言模型)
Anthropic 公司开发的大语言模型,以长文档理解和写作、写代码见长。它既是网页和手机里的聊天助手,也有专门的编程形态。
提示词(Prompt)
你发给 AI 的那段话,也就是给它的指令或提问。这一段写得好不好,直接决定它给你的答案对不对路。
MCP(模型上下文协议)
一套让 AI 能统一接上外部工具和数据的接口标准。工具按它做一次,各种 AI 助手就能直接调用,省得给每个工具单独写对接代码。