AI 与大模型 · 进阶
幻觉(Hallucination)
模型一本正经地说出并不存在的事实——虚构的书名、打不开的链接、记错的日期。它语气越笃定,越容易让人信以为真。
TL;DR三十秒版本
- 模型一本正经地说出并不存在的东西——虚构的书名、打不开的链接、记错的日期。
- 它说这些时并不含糊,反而格外肯定,人很容易被这种语气带过去。
- 根源是它在往下续写,不是在核实,所以关键字段仍要人工对一遍。
Overview详细说说
幻觉指模型生成听起来合理、实际上不成立的内容。虚构的文献、编造的引用、张冠李戴的日期、并不存在的产品型号,都可能冒出来。麻烦的是它说这些时并不含糊,反而格外肯定,人很容易被这种语气带过去。它也不会标出哪句有把握、哪句是猜的。
根源在于模型的机制是续写,不是查证。它擅长判断下一句怎么写最通顺,却不具备“知道自己不知道”的能力。碰到没把握的地方,它仍会顺着一句话的势头往下编,还编得有模有样。训练的目标是让回答更像真的,而不是让回答更接近真相,所以这不是它笨,而是它的工作方式本身如此。
最常见的触发场合是问细节。让它列一份资料来源,它可能给出一个格式规范、实际却查不到的出处;让它报一个具体数字,它可能给出一个看上去合理却错的值。越是被问到冷门细节,它越容易顺着语气往下补。给它材料、让它基于材料回答,能明显减少这类编造,但减少不等于消除。
因此有一条实用底线:凡是数字、引用、人名、法条、链接这类错了要出事的字段,都自己核一遍。把关键结论先标出来再逐条核实,比通读一遍更靠得住。也别把模型给出的出处直接当证据转手引用,那等于把编造又传播了一遍。
Myths常见误解
- ✕以为它是故意骗你 ✓它压根分不清哪句真哪句是顺着语气编的,没有撒谎这个念头
- ✕以为语气肯定就更可信 ✓语气和真假完全无关,越是冷门细节越容易编得有模有样
- ✕以为给了资料就彻底不编了 ✓给材料能明显减少编造,但减少不等于消除,仍要抽查
In practice你会在哪用到它
- 让它列一份资料清单,逐条去查那个出处是不是真的存在
- 把方案里的数字、人名、日期单拎出来,自己核一遍再交出去
- 看到一段漂亮引用时,先搜原文,别直接转手发出去
Summary记住这几点就够了
- 模型会生成看似合理但实际错误的内容
- 它说错话时往往语气格外肯定
- 根源是它的机制在续写而非核实
- 数字、引用、出处必须人工复核
常见问题
幻觉(Hallucination)是什么意思?
模型一本正经地说出并不存在的东西——虚构的书名、打不开的链接、记错的日期。它说这些时并不含糊,反而格外肯定,人很容易被这种语气带过去。根源是它在往下续写,不是在核实,所以关键字段仍要人工对一遍。
幻觉(Hallucination)一般用在什么地方?
让它列一份资料清单,逐条去查那个出处是不是真的存在;把方案里的数字、人名、日期单拎出来,自己核一遍再交出去;看到一段漂亮引用时,先搜原文,别直接转手发出去。
关于幻觉(Hallucination),最容易搞错的是什么?
以为它是故意骗你,其实它压根分不清哪句真哪句是顺着语气编的,没有撒谎这个念头;以为语气肯定就更可信,其实语气和真假完全无关,越是冷门细节越容易编得有模有样。
幻觉(Hallucination)要记住哪几点?
模型会生成看似合理但实际错误的内容;它说错话时往往语气格外肯定;根源是它的机制在续写而非核实;数字、引用、出处必须人工复核。
容易踩的坑 模型给出的文献出处和链接看起来再规范,也要自己查一遍,直接引用很容易把错传出去。
全站第 30 / 186 条 · 全部词条
接着读Related reading
智能体(Agent)
一种能自己定目标、拆步骤、调用工具去完成任务的 AI 程序。你交给它一件事,它自己安排怎么做,而不是你问一句它才答一句。
LLM(大语言模型)
读过海量文字之后学会“接下一句”的超大程序。你输入的任何一句话,它都在猜后面最可能出现什么,写作、翻译、答题都是这一件事的不同用法。
嵌入(Embedding)
把一段文字换算成一串数字,让电脑能比较哪两句话意思更接近。搜索和知识库能在换了说法时也找对答案,靠的就是它。
Claude(大语言模型)
Anthropic 公司开发的大语言模型,以长文档理解和写作、写代码见长。它既是网页和手机里的聊天助手,也有专门的编程形态。
提示词(Prompt)
你发给 AI 的那段话,也就是给它的指令或提问。这一段写得好不好,直接决定它给你的答案对不对路。
MCP(模型上下文协议)
一套让 AI 能统一接上外部工具和数据的接口标准。工具按它做一次,各种 AI 助手就能直接调用,省得给每个工具单独写对接代码。