AI 与大模型 · 进阶
推理(Inference)
模型训练完成之后,每次回答你的那个计算过程就叫推理。决定响应快不快、运行贵不贵的,是它,而不是训练。
TL;DR三十秒版本
- 训练结束之后,模型每次开口答题的那个计算过程,就叫推理。
- 它决定你等多久、这次花多少钱,而不是决定模型有多大本事。
- 同一个模型跑在哪儿推理,费用和隐私完全是两本账。
Overview详细说说
模型的生命分两段:先在大量数据上训练,学会本事;之后状态固定下来,每次被调用时算出一个答案。后一段就叫推理。你按下发送、屏幕上一个字一个字往外冒,幕后做的都是这件事,用一次付一次钱的那种服务,计费也发生在这个阶段。
两段的分量差别很大。训练又慢又贵,往往一次就要一大笔算力,但一个模型通常只训那么一次;推理要重复成千上万次,每次都要花时间和电。换句话说,训练决定它能做什么,推理决定它做一次要多久、要多少钱。所以工程优化的重心几乎都压在推理这一侧——换吞吐更高的显卡、改用小一些的模型、把常见问题的结果缓存起来。
这个词在工具介绍里出现,多半和部署方式有关。“兼容任意接口的推理服务”,说的是模型架在云端;“支持本地推理”,说的是模型跑在你自己的机器上,资料不出门。有些部署还会把多个请求攒在一起算,以提高机器利用率。同一个模型放在哪里推理,费用和隐私的账完全不同。
需要留心的是中文里“推理”有两个意思。日常说的推理是逻辑思考,比如侦探推理;技术语境里指的是模型算答案的那个过程。凡是出现在 AI 相关页面上的推理,基本都指后者。
Myths常见误解
- ✕以为推理就是侦探那种逻辑思考 ✓技术语境里它指模型算答案的过程,跟日常说的推理无关
- ✕以为模型训一次就一劳永逸 ✓训练只做一次,之后每回答一次都要重新算一遍,成本也在这步
- ✕以为本地和云端跑同一个模型没差别 ✓跑在哪决定了资料出不出门、账单怎么算,两件事都不同
In practice你会在哪用到它
- 在设置里把模型切到本地运行,确认资料不出自己的电脑
- 发现响应变慢,查一下是换了更大的模型还是云端在排队
- 按调用量付费的工具里,账单数字基本都在这一环产生
Summary记住这几点就够了
- 模型拿到输入、算出答案的那个计算过程
- 训练通常只做一次,推理要被调用无数次
- 响应速度和运行成本主要由它决定
- 和日常说的逻辑推理不是一回事
常见问题
推理(Inference)是什么意思?
训练结束之后,模型每次开口答题的那个计算过程,就叫推理。它决定你等多久、这次花多少钱,而不是决定模型有多大本事。同一个模型跑在哪儿推理,费用和隐私完全是两本账。
推理(Inference)一般用在什么地方?
在设置里把模型切到本地运行,确认资料不出自己的电脑;发现响应变慢,查一下是换了更大的模型还是云端在排队;按调用量付费的工具里,账单数字基本都在这一环产生。
关于推理(Inference),最容易搞错的是什么?
以为推理就是侦探那种逻辑思考,其实技术语境里它指模型算答案的过程,跟日常说的推理无关;以为模型训一次就一劳永逸,其实训练只做一次,之后每回答一次都要重新算一遍,成本也在这步。
推理(Inference)要记住哪几点?
模型拿到输入、算出答案的那个计算过程;训练通常只做一次,推理要被调用无数次;响应速度和运行成本主要由它决定;和日常说的逻辑推理不是一回事。
容易踩的坑 同一个模型跑在云端还是自己的机器上,费用和隐私差别很大,选之前先想清楚。
全站第 20 / 186 条 · 全部词条
接着读Related reading
智能体(Agent)
一种能自己定目标、拆步骤、调用工具去完成任务的 AI 程序。你交给它一件事,它自己安排怎么做,而不是你问一句它才答一句。
LLM(大语言模型)
读过海量文字之后学会“接下一句”的超大程序。你输入的任何一句话,它都在猜后面最可能出现什么,写作、翻译、答题都是这一件事的不同用法。
嵌入(Embedding)
把一段文字换算成一串数字,让电脑能比较哪两句话意思更接近。搜索和知识库能在换了说法时也找对答案,靠的就是它。
Claude(大语言模型)
Anthropic 公司开发的大语言模型,以长文档理解和写作、写代码见长。它既是网页和手机里的聊天助手,也有专门的编程形态。
提示词(Prompt)
你发给 AI 的那段话,也就是给它的指令或提问。这一段写得好不好,直接决定它给你的答案对不对路。
MCP(模型上下文协议)
一套让 AI 能统一接上外部工具和数据的接口标准。工具按它做一次,各种 AI 助手就能直接调用,省得给每个工具单独写对接代码。