SkillPedia Skills Encyclopedia
中文 EN
今日更新 2026-11-17 UTC

今天还没有新提交

查看更新动态

AI 与大模型 · 入门

多模态(Multimodal)

一个模型能同时处理文字、图片、声音、视频这几类信息。发一张图再配一句话,它能结合起来理解,而不是只认文字。

AI 与大模型 入门 站内文案里出现过 237 次,涉及 84 个条目 461 字 约 1 分钟读完 53 次阅读

TL;DR三十秒版本

  1. 同一个模型既能读文字,也能看图、听声音,不用你先描述一遍图里有什么。
  2. 发一张截图再配一句话,它能把两样合起来理解你的意思。
  3. 看图的本事各家差得远,图里的小字和复杂表格经常看错。

Overview详细说说

这里的模态指信息的种类:文字是一种,图片、音频、视频各算一种。多模态模型就是能同时吃进好几样,并在它们之间建立联系。你发一张截图再问一句“这里报的什么错”,它能把图里的文字和你的问题合起来看。需要说明的是,这里说的是它能接收什么;有些模型还能生成图片和语音,那是另一回事。

只认文字的模型,碰到截图、照片、录音就没辙。人的表达本来就不只是打字,让它看懂图、听懂声,可用场景一下子铺开:照着设计稿写页面、看仪表盘读数、对着白板照片整理笔记。对做内容的人来说,这意味着不用先把图片转成文字再喂进去。

具体到工具,标注“多模态模型都能用”的意思是它不挑模型,配一个能看图的或只能读字的都能跑。反过来说,如果你手上的模型只认文字,那类需要看图的功能就没法用,得先换一个支持多模态的,碰上不支持的任务,界面通常会直接告诉你。

别把它想得太满。图片里的小字、密集的表格、模糊的手写内容,模型经常看错,而且错得很有自信。各家模型在这方面的能力差距也不小,同一张图,有的读得准,有的一本正经地编。要判断一个模型行不行,最好的办法是拿自己的真实素材试几回。

Myths常见误解

  • 以为能看图就等于看得准 小字、密集表格、模糊手写常看错,而且答得毫不含糊
  • 以为所有模型都自带这个本事 不少模型只认文字,碰上要读图的功能就用不了
  • 以为多模态就是能画图配音 这里说的是它能接收什么,能不能画出来是另一回事

In practice你会在哪用到它

  • 拍一张报错截图丢进去,问它上面写的是什么问题
  • 对着一张手写白板拍照,让它照着整理成笔记
  • 关键数字出自图片时,自己再对着原图核一遍

Summary记住这几点就够了

  • 一个模型能同时处理文字、图像、声音等多个种类
  • 发图加点话,它能把两者结合起来理解
  • 让人和 AI 的交流不再局限于打字
  • 各家看图能力差别明显,不能全信

常见问题

多模态(Multimodal)是什么意思?

同一个模型既能读文字,也能看图、听声音,不用你先描述一遍图里有什么。发一张截图再配一句话,它能把两样合起来理解你的意思。看图的本事各家差得远,图里的小字和复杂表格经常看错。

多模态(Multimodal)一般用在什么地方?

拍一张报错截图丢进去,问它上面写的是什么问题;对着一张手写白板拍照,让它照着整理成笔记;关键数字出自图片时,自己再对着原图核一遍。

关于多模态(Multimodal),最容易搞错的是什么?

以为能看图就等于看得准,其实小字、密集表格、模糊手写常看错,而且答得毫不含糊;以为所有模型都自带这个本事,其实不少模型只认文字,碰上要读图的功能就用不了。

多模态(Multimodal)要记住哪几点?

一个模型能同时处理文字、图像、声音等多个种类;发图加点话,它能把两者结合起来理解;让人和 AI 的交流不再局限于打字;各家看图能力差别明显,不能全信。

容易踩的坑 图片里的细小文字和复杂表格仍会看错,而且往往错得很自信,关键数字要自己核。

全站第 25 / 186 条 · 全部词条

接着读Related reading

接着去哪Explore more

回到技能本身

词典里讲到的这些概念,大多一条命令就能装进你的 AI 客户端。