AI 与大模型 · 入门
多模态(Multimodal)
一个模型能同时处理文字、图片、声音、视频这几类信息。发一张图再配一句话,它能结合起来理解,而不是只认文字。
TL;DR三十秒版本
- 同一个模型既能读文字,也能看图、听声音,不用你先描述一遍图里有什么。
- 发一张截图再配一句话,它能把两样合起来理解你的意思。
- 看图的本事各家差得远,图里的小字和复杂表格经常看错。
Overview详细说说
这里的模态指信息的种类:文字是一种,图片、音频、视频各算一种。多模态模型就是能同时吃进好几样,并在它们之间建立联系。你发一张截图再问一句“这里报的什么错”,它能把图里的文字和你的问题合起来看。需要说明的是,这里说的是它能接收什么;有些模型还能生成图片和语音,那是另一回事。
只认文字的模型,碰到截图、照片、录音就没辙。人的表达本来就不只是打字,让它看懂图、听懂声,可用场景一下子铺开:照着设计稿写页面、看仪表盘读数、对着白板照片整理笔记。对做内容的人来说,这意味着不用先把图片转成文字再喂进去。
具体到工具,标注“多模态模型都能用”的意思是它不挑模型,配一个能看图的或只能读字的都能跑。反过来说,如果你手上的模型只认文字,那类需要看图的功能就没法用,得先换一个支持多模态的,碰上不支持的任务,界面通常会直接告诉你。
别把它想得太满。图片里的小字、密集的表格、模糊的手写内容,模型经常看错,而且错得很有自信。各家模型在这方面的能力差距也不小,同一张图,有的读得准,有的一本正经地编。要判断一个模型行不行,最好的办法是拿自己的真实素材试几回。
Myths常见误解
- ✕以为能看图就等于看得准 ✓小字、密集表格、模糊手写常看错,而且答得毫不含糊
- ✕以为所有模型都自带这个本事 ✓不少模型只认文字,碰上要读图的功能就用不了
- ✕以为多模态就是能画图配音 ✓这里说的是它能接收什么,能不能画出来是另一回事
In practice你会在哪用到它
- 拍一张报错截图丢进去,问它上面写的是什么问题
- 对着一张手写白板拍照,让它照着整理成笔记
- 关键数字出自图片时,自己再对着原图核一遍
Summary记住这几点就够了
- 一个模型能同时处理文字、图像、声音等多个种类
- 发图加点话,它能把两者结合起来理解
- 让人和 AI 的交流不再局限于打字
- 各家看图能力差别明显,不能全信
常见问题
多模态(Multimodal)是什么意思?
同一个模型既能读文字,也能看图、听声音,不用你先描述一遍图里有什么。发一张截图再配一句话,它能把两样合起来理解你的意思。看图的本事各家差得远,图里的小字和复杂表格经常看错。
多模态(Multimodal)一般用在什么地方?
拍一张报错截图丢进去,问它上面写的是什么问题;对着一张手写白板拍照,让它照着整理成笔记;关键数字出自图片时,自己再对着原图核一遍。
关于多模态(Multimodal),最容易搞错的是什么?
以为能看图就等于看得准,其实小字、密集表格、模糊手写常看错,而且答得毫不含糊;以为所有模型都自带这个本事,其实不少模型只认文字,碰上要读图的功能就用不了。
多模态(Multimodal)要记住哪几点?
一个模型能同时处理文字、图像、声音等多个种类;发图加点话,它能把两者结合起来理解;让人和 AI 的交流不再局限于打字;各家看图能力差别明显,不能全信。
容易踩的坑 图片里的细小文字和复杂表格仍会看错,而且往往错得很自信,关键数字要自己核。
全站第 25 / 186 条 · 全部词条
接着读Related reading
智能体(Agent)
一种能自己定目标、拆步骤、调用工具去完成任务的 AI 程序。你交给它一件事,它自己安排怎么做,而不是你问一句它才答一句。
LLM(大语言模型)
读过海量文字之后学会“接下一句”的超大程序。你输入的任何一句话,它都在猜后面最可能出现什么,写作、翻译、答题都是这一件事的不同用法。
嵌入(Embedding)
把一段文字换算成一串数字,让电脑能比较哪两句话意思更接近。搜索和知识库能在换了说法时也找对答案,靠的就是它。
Claude(大语言模型)
Anthropic 公司开发的大语言模型,以长文档理解和写作、写代码见长。它既是网页和手机里的聊天助手,也有专门的编程形态。
提示词(Prompt)
你发给 AI 的那段话,也就是给它的指令或提问。这一段写得好不好,直接决定它给你的答案对不对路。
MCP(模型上下文协议)
一套让 AI 能统一接上外部工具和数据的接口标准。工具按它做一次,各种 AI 助手就能直接调用,省得给每个工具单独写对接代码。