SkillPedia Skills Encyclopedia
中文 EN
Today's updates 2026-11-17 UTC

No new commits yet today

Open the update feed

AI & LLMs · Intermediate

Token(词元)

模型读写文字的最小单位。它不按字算,而是把文字切成小块来处理,一次能读多少、要收多少钱,都拿这个数量来量。

AI & LLMs Intermediate Appears 79 times across the site, in 35 entries 455 characters about 1 min read 52 views

Some fields on this page have no English version yet — they are shown in the original Chinese.

TL;DRIn 30 seconds

  1. AI 读文字不按字算,而是把话切成小块,一块就是它眼里的一个单位。
  2. 一次能读多少、这单要花多少钱,都按这些小块的数量来算。
  3. 同样一句话用中文写还是英文写,占的小块数未必一样。

OverviewIn detail

模型看不懂连续的文字,得先把它切成一个个小块,每块叫一个 token。一个汉字通常折成一到两个,一个英文单词一般算一个,标点和空格也占位置。同一句话换成不同语言来写,切出来的块数可能差不少,不同模型用的切分规则不同,同一个句子的块数也会略有出入。

切成统一的小块,模型才能做统一的计算,也才好计量。于是 token 顺理成章成了两把尺子:一是上下文窗口,也就是模型一次最多能读进来多少;二是账单,多数服务按输入加输出的 token 总数收费。窗口满了之后,早先的对话会被挤出去,模型就看不见了。

平时你接触到的形式是“本次消耗了多少 token”。读进去的提问、系统提示、附上的资料,加上它写出来的回答,全部折算在一起。发一份长报告让它总结,这个数会明显往上跳;来回多轮对话,历史消息也一直在累加,哪怕你只多问了一句。同一段内容反复贴几遍,账单是会翻倍的。

它和字数不是一回事,中英文的换算比例并不相同,同样的意思用中文说未必更省。它和提问次数也不是一回事,一次给出的长提问可能顶几十次短的。算成本之前,先弄清服务方是按输入和输出分别定价,还是合并计算。

MythsCommon misunderstandings

  • 以为一个汉字就是一个单位 其实一个汉字常折成一到两块,字数和块数并不划等号
  • 以为按字数就能估出花费 中英文折算比例不同,标点和空格也在占位置,拿字数估不准
  • 以为问得多才费钱 一次贴进去的长材料照样计入,反复贴同一段就是反复付钱

In practiceWhere you will meet it

  • 发出长报告让它总结前,先估一下这次大概要花多少
  • 多轮对话越聊越长时,注意到历史消息也一直在累加
  • 看到账单把输入和输出分开计价,明白两头都算钱

SummaryThe key points

  • 模型处理文字时的最小切分单位
  • 一个汉字通常折合成一到两个 token
  • 能读多少内容、费用怎么算,都按它计量
  • 它既不等同于字数,也不等同于提问次数

FAQ

What does Token(词元) mean?

AI 读文字不按字算,而是把话切成小块,一块就是它眼里的一个单位。一次能读多少、这单要花多少钱,都按这些小块的数量来算。同样一句话用中文写还是英文写,占的小块数未必一样。

Where will I run into Token(词元)?

发出长报告让它总结前,先估一下这次大概要花多少;多轮对话越聊越长时,注意到历史消息也一直在累加;看到账单把输入和输出分开计价,明白两头都算钱。

What do people most often get wrong about Token(词元)?

以为一个汉字就是一个单位 — but 其实一个汉字常折成一到两块,字数和块数并不划等号;以为按字数就能估出花费 — but 中英文折算比例不同,标点和空格也在占位置,拿字数估不准。

What are the key points about Token(词元)?

模型处理文字时的最小切分单位;一个汉字通常折合成一到两个 token;能读多少内容、费用怎么算,都按它计量;它既不等同于字数,也不等同于提问次数。

Common pitfalls 中文和英文折算成 token 的比例不同,拿字数去估费用通常会算错。

Entry 19 of 186 · All entries

Keep readingRelated reading

Where to go nextExplore more

Back to the skills themselves

Most of the concepts covered here come from skills that install into your AI client with a single command.