AI & LLMs · Intermediate
推理(Inference)
模型训练完成之后,每次回答你的那个计算过程就叫推理。决定响应快不快、运行贵不贵的,是它,而不是训练。
Some fields on this page have no English version yet — they are shown in the original Chinese.
TL;DRIn 30 seconds
- 训练结束之后,模型每次开口答题的那个计算过程,就叫推理。
- 它决定你等多久、这次花多少钱,而不是决定模型有多大本事。
- 同一个模型跑在哪儿推理,费用和隐私完全是两本账。
OverviewIn detail
模型的生命分两段:先在大量数据上训练,学会本事;之后状态固定下来,每次被调用时算出一个答案。后一段就叫推理。你按下发送、屏幕上一个字一个字往外冒,幕后做的都是这件事,用一次付一次钱的那种服务,计费也发生在这个阶段。
两段的分量差别很大。训练又慢又贵,往往一次就要一大笔算力,但一个模型通常只训那么一次;推理要重复成千上万次,每次都要花时间和电。换句话说,训练决定它能做什么,推理决定它做一次要多久、要多少钱。所以工程优化的重心几乎都压在推理这一侧——换吞吐更高的显卡、改用小一些的模型、把常见问题的结果缓存起来。
这个词在工具介绍里出现,多半和部署方式有关。“兼容任意接口的推理服务”,说的是模型架在云端;“支持本地推理”,说的是模型跑在你自己的机器上,资料不出门。有些部署还会把多个请求攒在一起算,以提高机器利用率。同一个模型放在哪里推理,费用和隐私的账完全不同。
需要留心的是中文里“推理”有两个意思。日常说的推理是逻辑思考,比如侦探推理;技术语境里指的是模型算答案的那个过程。凡是出现在 AI 相关页面上的推理,基本都指后者。
MythsCommon misunderstandings
- ✕以为推理就是侦探那种逻辑思考 ✓技术语境里它指模型算答案的过程,跟日常说的推理无关
- ✕以为模型训一次就一劳永逸 ✓训练只做一次,之后每回答一次都要重新算一遍,成本也在这步
- ✕以为本地和云端跑同一个模型没差别 ✓跑在哪决定了资料出不出门、账单怎么算,两件事都不同
In practiceWhere you will meet it
- 在设置里把模型切到本地运行,确认资料不出自己的电脑
- 发现响应变慢,查一下是换了更大的模型还是云端在排队
- 按调用量付费的工具里,账单数字基本都在这一环产生
SummaryThe key points
- 模型拿到输入、算出答案的那个计算过程
- 训练通常只做一次,推理要被调用无数次
- 响应速度和运行成本主要由它决定
- 和日常说的逻辑推理不是一回事
FAQ
What does 推理(Inference) mean?
训练结束之后,模型每次开口答题的那个计算过程,就叫推理。它决定你等多久、这次花多少钱,而不是决定模型有多大本事。同一个模型跑在哪儿推理,费用和隐私完全是两本账。
Where will I run into 推理(Inference)?
在设置里把模型切到本地运行,确认资料不出自己的电脑;发现响应变慢,查一下是换了更大的模型还是云端在排队;按调用量付费的工具里,账单数字基本都在这一环产生。
What do people most often get wrong about 推理(Inference)?
以为推理就是侦探那种逻辑思考 — but 技术语境里它指模型算答案的过程,跟日常说的推理无关;以为模型训一次就一劳永逸 — but 训练只做一次,之后每回答一次都要重新算一遍,成本也在这步。
What are the key points about 推理(Inference)?
模型拿到输入、算出答案的那个计算过程;训练通常只做一次,推理要被调用无数次;响应速度和运行成本主要由它决定;和日常说的逻辑推理不是一回事。
Common pitfalls 同一个模型跑在云端还是自己的机器上,费用和隐私差别很大,选之前先想清楚。
Entry 20 of 186 · All entries
Keep readingRelated reading
AI Agent
An AI program that sets its own goal, breaks it into steps and calls tools to get the job done. You hand it a task and it works out how to do it — instead of only answering one question at a time.
LLM
A very large program that learned to predict the next piece of text after reading an ocean of it. Whatever you type, it is guessing what is most likely to come next — writing, translating and answering questions are all the same thing used differently.
嵌入(Embedding)
把一段文字换算成一串数字,让电脑能比较哪两句话意思更接近。搜索和知识库能在换了说法时也找对答案,靠的就是它。
Claude
A large language model built by Anthropic, known for understanding long documents, writing well and writing code. It comes both as a chat assistant on the web and phone, and in a dedicated form for programming.
Prompt
The message you send to an AI — the instruction or question you give it. How well that passage is written decides whether the answer that comes back is on target.
MCP
A standard interface that lets AI connect to outside tools and data in one uniform way. Build a tool to it once and any AI assistant can call it, saving you from writing a separate integration for each tool.
Where to go nextExplore more
Back to the skills themselves
Most of the concepts covered here come from skills that install into your AI client with a single command.