SkillPedia Skills Encyclopedia
中文 EN
今日更新 2026-11-17 UTC

今天还没有新提交

查看更新动态

AI 与大模型 · 前沿

注意力机制(Attention)

模型读一句话时,会自动算出哪些词跟哪些词关系更紧。它是主流大模型的核心部件,也是模型能抓住长句上下文的原因。

AI 与大模型 前沿 站内文案里出现过 2 次,涉及 1 个条目 469 字 约 1 分钟读完 39 次阅读

TL;DR三十秒版本

  1. 模型读一句话时,会算出哪些词跟哪些词关系更近,这个打分的部件就是它。
  2. 有了它,句子再长,前后的词也能直接扯上关系,不用一个字一个字传。
  3. 名字像人的专注,其实只是一组数值,没有任何主观成分。

Overview详细说说

注意力机制是当前大语言模型的核心构件。模型在理解某个词的时候,会回头看整句里其他所有的词,算出每一个该分到多少关注。读“小明把书借给了小红,因为她在复习”时,判断“她”究竟指谁,靠的就是这种关联打分。分数高的词,对当前这个词的理解影响就更大。

在它之前,模型按顺序一个字一个字读,读到后半句往往已经忘了前半句,句子一长就乱套。注意力机制让任意两个位置之间可以直接建立联系,不必隔着整串字符慢慢传递,处理长文本的能力因此上了一个台阶,这也是现在的模型能处理整本书那么长输入的原因。

它的名字来自一篇论文,标题直译过来是“注意力就是你所需要的一切”,此后几乎所有主流模型都建在这套结构之上。很多后续改进都围绕着让它算得更快、更省内存。普通用户不需要直接操作它,但模型能读懂长段落、能接住前文的指代,根子都在这里。

需要澄清的是,这里的注意力没有任何主观成分。它只是给不同词算出的一组数值,表示相关的程度高低,模型并不真的在专注,也不在思考。把它理解成数学上的权重分配,比理解成人的注意力更接近实情。理解到这一层,对日常使用已经足够了。

Myths常见误解

  • 以为模型真在专注某处 它算的只是相关度数值,没有意识,也没有在看什么
  • 以为有了它前文就不会忘 关联算得再好也有漏掉的地方,句子太长仍可能抓不住重点
  • 以为这只是个可有可无的小技巧 几乎所有主流模型都建在它上面,长文本能力根子在这里

In practice你会在哪用到它

  • 让它读一份长报告并回答里面的细节,它能接住前后文的指代
  • 发现它把代词认错了人,就明白关联也会算错
  • 看到模型介绍强调能处理超长文本,知道背后靠的是这套机制

Summary记住这几点就够了

  • 让模型判断句子里哪些词关系更紧密
  • 是几乎所有主流大语言模型的基础结构
  • 让模型能处理长文本、接住前文的指代
  • 它是算出来的数值权重,不含意识

常见问题

注意力机制(Attention)是什么意思?

模型读一句话时,会算出哪些词跟哪些词关系更近,这个打分的部件就是它。有了它,句子再长,前后的词也能直接扯上关系,不用一个字一个字传。名字像人的专注,其实只是一组数值,没有任何主观成分。

注意力机制(Attention)一般用在什么地方?

让它读一份长报告并回答里面的细节,它能接住前后文的指代;发现它把代词认错了人,就明白关联也会算错;看到模型介绍强调能处理超长文本,知道背后靠的是这套机制。

关于注意力机制(Attention),最容易搞错的是什么?

以为模型真在专注某处,其实它算的只是相关度数值,没有意识,也没有在看什么;以为有了它前文就不会忘,其实关联算得再好也有漏掉的地方,句子太长仍可能抓不住重点。

注意力机制(Attention)要记住哪几点?

让模型判断句子里哪些词关系更紧密;是几乎所有主流大语言模型的基础结构;让模型能处理长文本、接住前文的指代;它是算出来的数值权重,不含意识。

容易踩的坑 这里的注意力只是数学上的相关度分数,跟人的专注完全是两回事。

Also written as你可能还会看到这些写法

自注意力 Self-Attention

这些都是同一个概念,在技能介绍里指代的是同一件事 —— 不必因为写法不同而以为是两个东西。

全站第 26 / 186 条 · 全部词条

接着读Related reading

接着去哪Explore more

回到技能本身

词典里讲到的这些概念,大多一条命令就能装进你的 AI 客户端。