SkillPedia Skills Encyclopedia
中文 EN
Today's updates 2026-11-17 UTC

No new commits yet today

Open the update feed

AI & LLMs · Beginner

多模态(Multimodal)

一个模型能同时处理文字、图片、声音、视频这几类信息。发一张图再配一句话,它能结合起来理解,而不是只认文字。

AI & LLMs Beginner Appears 237 times across the site, in 84 entries 461 characters about 1 min read 54 views

Some fields on this page have no English version yet — they are shown in the original Chinese.

TL;DRIn 30 seconds

  1. 同一个模型既能读文字,也能看图、听声音,不用你先描述一遍图里有什么。
  2. 发一张截图再配一句话,它能把两样合起来理解你的意思。
  3. 看图的本事各家差得远,图里的小字和复杂表格经常看错。

OverviewIn detail

这里的模态指信息的种类:文字是一种,图片、音频、视频各算一种。多模态模型就是能同时吃进好几样,并在它们之间建立联系。你发一张截图再问一句“这里报的什么错”,它能把图里的文字和你的问题合起来看。需要说明的是,这里说的是它能接收什么;有些模型还能生成图片和语音,那是另一回事。

只认文字的模型,碰到截图、照片、录音就没辙。人的表达本来就不只是打字,让它看懂图、听懂声,可用场景一下子铺开:照着设计稿写页面、看仪表盘读数、对着白板照片整理笔记。对做内容的人来说,这意味着不用先把图片转成文字再喂进去。

具体到工具,标注“多模态模型都能用”的意思是它不挑模型,配一个能看图的或只能读字的都能跑。反过来说,如果你手上的模型只认文字,那类需要看图的功能就没法用,得先换一个支持多模态的,碰上不支持的任务,界面通常会直接告诉你。

别把它想得太满。图片里的小字、密集的表格、模糊的手写内容,模型经常看错,而且错得很有自信。各家模型在这方面的能力差距也不小,同一张图,有的读得准,有的一本正经地编。要判断一个模型行不行,最好的办法是拿自己的真实素材试几回。

MythsCommon misunderstandings

  • 以为能看图就等于看得准 小字、密集表格、模糊手写常看错,而且答得毫不含糊
  • 以为所有模型都自带这个本事 不少模型只认文字,碰上要读图的功能就用不了
  • 以为多模态就是能画图配音 这里说的是它能接收什么,能不能画出来是另一回事

In practiceWhere you will meet it

  • 拍一张报错截图丢进去,问它上面写的是什么问题
  • 对着一张手写白板拍照,让它照着整理成笔记
  • 关键数字出自图片时,自己再对着原图核一遍

SummaryThe key points

  • 一个模型能同时处理文字、图像、声音等多个种类
  • 发图加点话,它能把两者结合起来理解
  • 让人和 AI 的交流不再局限于打字
  • 各家看图能力差别明显,不能全信

FAQ

What does 多模态(Multimodal) mean?

同一个模型既能读文字,也能看图、听声音,不用你先描述一遍图里有什么。发一张截图再配一句话,它能把两样合起来理解你的意思。看图的本事各家差得远,图里的小字和复杂表格经常看错。

Where will I run into 多模态(Multimodal)?

拍一张报错截图丢进去,问它上面写的是什么问题;对着一张手写白板拍照,让它照着整理成笔记;关键数字出自图片时,自己再对着原图核一遍。

What do people most often get wrong about 多模态(Multimodal)?

以为能看图就等于看得准 — but 小字、密集表格、模糊手写常看错,而且答得毫不含糊;以为所有模型都自带这个本事 — but 不少模型只认文字,碰上要读图的功能就用不了。

What are the key points about 多模态(Multimodal)?

一个模型能同时处理文字、图像、声音等多个种类;发图加点话,它能把两者结合起来理解;让人和 AI 的交流不再局限于打字;各家看图能力差别明显,不能全信。

Common pitfalls 图片里的细小文字和复杂表格仍会看错,而且往往错得很自信,关键数字要自己核。

Entry 25 of 186 · All entries

Keep readingRelated reading

Where to go nextExplore more

Back to the skills themselves

Most of the concepts covered here come from skills that install into your AI client with a single command.