AI 与大模型 · 前沿
注意力机制(Attention)
模型读一句话时,会自动算出哪些词跟哪些词关系更紧。它是主流大模型的核心部件,也是模型能抓住长句上下文的原因。
TL;DR三十秒版本
- 模型读一句话时,会算出哪些词跟哪些词关系更近,这个打分的部件就是它。
- 有了它,句子再长,前后的词也能直接扯上关系,不用一个字一个字传。
- 名字像人的专注,其实只是一组数值,没有任何主观成分。
Overview详细说说
注意力机制是当前大语言模型的核心构件。模型在理解某个词的时候,会回头看整句里其他所有的词,算出每一个该分到多少关注。读“小明把书借给了小红,因为她在复习”时,判断“她”究竟指谁,靠的就是这种关联打分。分数高的词,对当前这个词的理解影响就更大。
在它之前,模型按顺序一个字一个字读,读到后半句往往已经忘了前半句,句子一长就乱套。注意力机制让任意两个位置之间可以直接建立联系,不必隔着整串字符慢慢传递,处理长文本的能力因此上了一个台阶,这也是现在的模型能处理整本书那么长输入的原因。
它的名字来自一篇论文,标题直译过来是“注意力就是你所需要的一切”,此后几乎所有主流模型都建在这套结构之上。很多后续改进都围绕着让它算得更快、更省内存。普通用户不需要直接操作它,但模型能读懂长段落、能接住前文的指代,根子都在这里。
需要澄清的是,这里的注意力没有任何主观成分。它只是给不同词算出的一组数值,表示相关的程度高低,模型并不真的在专注,也不在思考。把它理解成数学上的权重分配,比理解成人的注意力更接近实情。理解到这一层,对日常使用已经足够了。
Myths常见误解
- ✕以为模型真在专注某处 ✓它算的只是相关度数值,没有意识,也没有在看什么
- ✕以为有了它前文就不会忘 ✓关联算得再好也有漏掉的地方,句子太长仍可能抓不住重点
- ✕以为这只是个可有可无的小技巧 ✓几乎所有主流模型都建在它上面,长文本能力根子在这里
In practice你会在哪用到它
- 让它读一份长报告并回答里面的细节,它能接住前后文的指代
- 发现它把代词认错了人,就明白关联也会算错
- 看到模型介绍强调能处理超长文本,知道背后靠的是这套机制
Summary记住这几点就够了
- 让模型判断句子里哪些词关系更紧密
- 是几乎所有主流大语言模型的基础结构
- 让模型能处理长文本、接住前文的指代
- 它是算出来的数值权重,不含意识
常见问题
注意力机制(Attention)是什么意思?
模型读一句话时,会算出哪些词跟哪些词关系更近,这个打分的部件就是它。有了它,句子再长,前后的词也能直接扯上关系,不用一个字一个字传。名字像人的专注,其实只是一组数值,没有任何主观成分。
注意力机制(Attention)一般用在什么地方?
让它读一份长报告并回答里面的细节,它能接住前后文的指代;发现它把代词认错了人,就明白关联也会算错;看到模型介绍强调能处理超长文本,知道背后靠的是这套机制。
关于注意力机制(Attention),最容易搞错的是什么?
以为模型真在专注某处,其实它算的只是相关度数值,没有意识,也没有在看什么;以为有了它前文就不会忘,其实关联算得再好也有漏掉的地方,句子太长仍可能抓不住重点。
注意力机制(Attention)要记住哪几点?
让模型判断句子里哪些词关系更紧密;是几乎所有主流大语言模型的基础结构;让模型能处理长文本、接住前文的指代;它是算出来的数值权重,不含意识。
容易踩的坑 这里的注意力只是数学上的相关度分数,跟人的专注完全是两回事。
Also written as你可能还会看到这些写法
这些都是同一个概念,在技能介绍里指代的是同一件事 —— 不必因为写法不同而以为是两个东西。
全站第 26 / 186 条 · 全部词条
接着读Related reading
智能体(Agent)
一种能自己定目标、拆步骤、调用工具去完成任务的 AI 程序。你交给它一件事,它自己安排怎么做,而不是你问一句它才答一句。
LLM(大语言模型)
读过海量文字之后学会“接下一句”的超大程序。你输入的任何一句话,它都在猜后面最可能出现什么,写作、翻译、答题都是这一件事的不同用法。
嵌入(Embedding)
把一段文字换算成一串数字,让电脑能比较哪两句话意思更接近。搜索和知识库能在换了说法时也找对答案,靠的就是它。
Claude(大语言模型)
Anthropic 公司开发的大语言模型,以长文档理解和写作、写代码见长。它既是网页和手机里的聊天助手,也有专门的编程形态。
提示词(Prompt)
你发给 AI 的那段话,也就是给它的指令或提问。这一段写得好不好,直接决定它给你的答案对不对路。
MCP(模型上下文协议)
一套让 AI 能统一接上外部工具和数据的接口标准。工具按它做一次,各种 AI 助手就能直接调用,省得给每个工具单独写对接代码。