SkillPedia Skills Encyclopedia
中文 EN
今日更新 2026-11-17 UTC

今天还没有新提交

查看更新动态

AI 与大模型 · 进阶

Token(词元)

模型读写文字的最小单位。它不按字算,而是把文字切成小块来处理,一次能读多少、要收多少钱,都拿这个数量来量。

AI 与大模型 进阶 站内文案里出现过 79 次,涉及 35 个条目 455 字 约 1 分钟读完 51 次阅读

TL;DR三十秒版本

  1. AI 读文字不按字算,而是把话切成小块,一块就是它眼里的一个单位。
  2. 一次能读多少、这单要花多少钱,都按这些小块的数量来算。
  3. 同样一句话用中文写还是英文写,占的小块数未必一样。

Overview详细说说

模型看不懂连续的文字,得先把它切成一个个小块,每块叫一个 token。一个汉字通常折成一到两个,一个英文单词一般算一个,标点和空格也占位置。同一句话换成不同语言来写,切出来的块数可能差不少,不同模型用的切分规则不同,同一个句子的块数也会略有出入。

切成统一的小块,模型才能做统一的计算,也才好计量。于是 token 顺理成章成了两把尺子:一是上下文窗口,也就是模型一次最多能读进来多少;二是账单,多数服务按输入加输出的 token 总数收费。窗口满了之后,早先的对话会被挤出去,模型就看不见了。

平时你接触到的形式是“本次消耗了多少 token”。读进去的提问、系统提示、附上的资料,加上它写出来的回答,全部折算在一起。发一份长报告让它总结,这个数会明显往上跳;来回多轮对话,历史消息也一直在累加,哪怕你只多问了一句。同一段内容反复贴几遍,账单是会翻倍的。

它和字数不是一回事,中英文的换算比例并不相同,同样的意思用中文说未必更省。它和提问次数也不是一回事,一次给出的长提问可能顶几十次短的。算成本之前,先弄清服务方是按输入和输出分别定价,还是合并计算。

Myths常见误解

  • 以为一个汉字就是一个单位 其实一个汉字常折成一到两块,字数和块数并不划等号
  • 以为按字数就能估出花费 中英文折算比例不同,标点和空格也在占位置,拿字数估不准
  • 以为问得多才费钱 一次贴进去的长材料照样计入,反复贴同一段就是反复付钱

In practice你会在哪用到它

  • 发出长报告让它总结前,先估一下这次大概要花多少
  • 多轮对话越聊越长时,注意到历史消息也一直在累加
  • 看到账单把输入和输出分开计价,明白两头都算钱

Summary记住这几点就够了

  • 模型处理文字时的最小切分单位
  • 一个汉字通常折合成一到两个 token
  • 能读多少内容、费用怎么算,都按它计量
  • 它既不等同于字数,也不等同于提问次数

常见问题

Token(词元)是什么意思?

AI 读文字不按字算,而是把话切成小块,一块就是它眼里的一个单位。一次能读多少、这单要花多少钱,都按这些小块的数量来算。同样一句话用中文写还是英文写,占的小块数未必一样。

Token(词元)一般用在什么地方?

发出长报告让它总结前,先估一下这次大概要花多少;多轮对话越聊越长时,注意到历史消息也一直在累加;看到账单把输入和输出分开计价,明白两头都算钱。

关于Token(词元),最容易搞错的是什么?

以为一个汉字就是一个单位,其实其实一个汉字常折成一到两块,字数和块数并不划等号;以为按字数就能估出花费,其实中英文折算比例不同,标点和空格也在占位置,拿字数估不准。

Token(词元)要记住哪几点?

模型处理文字时的最小切分单位;一个汉字通常折合成一到两个 token;能读多少内容、费用怎么算,都按它计量;它既不等同于字数,也不等同于提问次数。

容易踩的坑 中文和英文折算成 token 的比例不同,拿字数去估费用通常会算错。

全站第 19 / 186 条 · 全部词条

接着读Related reading

接着去哪Explore more

回到技能本身

词典里讲到的这些概念,大多一条命令就能装进你的 AI 客户端。