AI 与大模型 · 进阶
Token(词元)
模型读写文字的最小单位。它不按字算,而是把文字切成小块来处理,一次能读多少、要收多少钱,都拿这个数量来量。
TL;DR三十秒版本
- AI 读文字不按字算,而是把话切成小块,一块就是它眼里的一个单位。
- 一次能读多少、这单要花多少钱,都按这些小块的数量来算。
- 同样一句话用中文写还是英文写,占的小块数未必一样。
Overview详细说说
模型看不懂连续的文字,得先把它切成一个个小块,每块叫一个 token。一个汉字通常折成一到两个,一个英文单词一般算一个,标点和空格也占位置。同一句话换成不同语言来写,切出来的块数可能差不少,不同模型用的切分规则不同,同一个句子的块数也会略有出入。
切成统一的小块,模型才能做统一的计算,也才好计量。于是 token 顺理成章成了两把尺子:一是上下文窗口,也就是模型一次最多能读进来多少;二是账单,多数服务按输入加输出的 token 总数收费。窗口满了之后,早先的对话会被挤出去,模型就看不见了。
平时你接触到的形式是“本次消耗了多少 token”。读进去的提问、系统提示、附上的资料,加上它写出来的回答,全部折算在一起。发一份长报告让它总结,这个数会明显往上跳;来回多轮对话,历史消息也一直在累加,哪怕你只多问了一句。同一段内容反复贴几遍,账单是会翻倍的。
它和字数不是一回事,中英文的换算比例并不相同,同样的意思用中文说未必更省。它和提问次数也不是一回事,一次给出的长提问可能顶几十次短的。算成本之前,先弄清服务方是按输入和输出分别定价,还是合并计算。
Myths常见误解
- ✕以为一个汉字就是一个单位 ✓其实一个汉字常折成一到两块,字数和块数并不划等号
- ✕以为按字数就能估出花费 ✓中英文折算比例不同,标点和空格也在占位置,拿字数估不准
- ✕以为问得多才费钱 ✓一次贴进去的长材料照样计入,反复贴同一段就是反复付钱
In practice你会在哪用到它
- 发出长报告让它总结前,先估一下这次大概要花多少
- 多轮对话越聊越长时,注意到历史消息也一直在累加
- 看到账单把输入和输出分开计价,明白两头都算钱
Summary记住这几点就够了
- 模型处理文字时的最小切分单位
- 一个汉字通常折合成一到两个 token
- 能读多少内容、费用怎么算,都按它计量
- 它既不等同于字数,也不等同于提问次数
常见问题
Token(词元)是什么意思?
AI 读文字不按字算,而是把话切成小块,一块就是它眼里的一个单位。一次能读多少、这单要花多少钱,都按这些小块的数量来算。同样一句话用中文写还是英文写,占的小块数未必一样。
Token(词元)一般用在什么地方?
发出长报告让它总结前,先估一下这次大概要花多少;多轮对话越聊越长时,注意到历史消息也一直在累加;看到账单把输入和输出分开计价,明白两头都算钱。
关于Token(词元),最容易搞错的是什么?
以为一个汉字就是一个单位,其实其实一个汉字常折成一到两块,字数和块数并不划等号;以为按字数就能估出花费,其实中英文折算比例不同,标点和空格也在占位置,拿字数估不准。
Token(词元)要记住哪几点?
模型处理文字时的最小切分单位;一个汉字通常折合成一到两个 token;能读多少内容、费用怎么算,都按它计量;它既不等同于字数,也不等同于提问次数。
容易踩的坑 中文和英文折算成 token 的比例不同,拿字数去估费用通常会算错。
全站第 19 / 186 条 · 全部词条
接着读Related reading
智能体(Agent)
一种能自己定目标、拆步骤、调用工具去完成任务的 AI 程序。你交给它一件事,它自己安排怎么做,而不是你问一句它才答一句。
LLM(大语言模型)
读过海量文字之后学会“接下一句”的超大程序。你输入的任何一句话,它都在猜后面最可能出现什么,写作、翻译、答题都是这一件事的不同用法。
嵌入(Embedding)
把一段文字换算成一串数字,让电脑能比较哪两句话意思更接近。搜索和知识库能在换了说法时也找对答案,靠的就是它。
Claude(大语言模型)
Anthropic 公司开发的大语言模型,以长文档理解和写作、写代码见长。它既是网页和手机里的聊天助手,也有专门的编程形态。
提示词(Prompt)
你发给 AI 的那段话,也就是给它的指令或提问。这一段写得好不好,直接决定它给你的答案对不对路。
MCP(模型上下文协议)
一套让 AI 能统一接上外部工具和数据的接口标准。工具按它做一次,各种 AI 助手就能直接调用,省得给每个工具单独写对接代码。