Cherry Studio 图像语音多模态对话,不只是文字交互
多模态模型能做什么
传统 AI 对话只能处理文字,但 2024 年后主流模型都支持了多模态输入——不仅能读文字,还能看图片、听语音、甚至生成语音。Cherry Studio 把这些能力全部接进来,一个客户端里就能用。
支持多模态的模型:
| 模型 | 图像理解 | 语音输入 | 语音输出 |
|---|---|---|---|
| GPT-4o | ✅ | ✅ | ✅ |
| Claude 3.5 Sonnet | ✅ | ❌ | ❌ |
| Gemini 1.5 Pro | ✅ | ✅ | ✅ |
| DeepSeek V3 | 部分支持 | ❌ | ❌ |
| Qwen VL(视觉语言) | ✅ | ❌ | ❌ |
| Llama 3.2 Vision | ✅ | ❌ | ❌ |
模型能力取决于上游厂商,Cherry Studio 不做二次开发,只做能力透传。
图像理解
在对话输入框旁边有图片上传按钮,或者直接把图片拖进对话。支持的格式:PNG、JPG、WebP、GIF。
可以让 AI 做的事情:
- 截图问答:拖一张报错截图,问"这是什么问题,怎么修"
- 文档图片 OCR:拖一张合同扫描件,问"第 2 条里写了什么"
- 图表解读:拖一张销售曲线截图,问"哪个季度增长最快"
- 界面设计反馈:拖一张 App 设计稿,问"这个按钮的位置和颜色合理吗"
- 手写笔记转文字:拖一张手写笔记的照片,让 AI 帮你识别并整理
图片会和你的问题一起发给模型——"这张图里第 3 行的报错是什么意思"会被模型理解为"结合这张图回答我",而不是"去搜索这句话的意思"。
语音输入输出
部分模型(GPT-4o、Gemini)支持语音交互。Cherry Studio 的对话界面在输入框旁提供麦克风按钮,点击后开始录音,说完再点停止,语音会自动转文字发送。模型回答完成后,可以点回复旁的扬声器按钮让它读出来。
适用场景:
- 开车通勤时:让 AI 语音输入做笔记,语音输出听总结
- 打字不方便时:手机上语音转文字比打字快
- 听 AI 读长文:让 AI 把 PDF 总结读出来,做别的事时也能听
多模态 vs 直接拖文件
多模态图片理解和 文件直接对话 里拖图片的区别:
- 拖文件对话:图片先 OCR 识别成文字,然后把文字发给 AI。适合"图片里主要是文字"的场景(截图、扫描件)
- 多模态图像理解:模型直接看图片像素,理解画面内容、布局、视觉元素。适合"图片里主要是视觉内容"的场景(设计稿、图表、照片)
如果模型支持多模态,拖进图片后 Cherry Studio 会优先走多模态路径。如果不支持(比如纯文本模型),自动退回到 OCR 路径。
多模态模型的选择
不是所有绑定的助手都有图像理解能力。给助手选模型时注意:
- Claude 3.5 Sonnet:图像理解好,适合做设计稿反馈、图表解读
- GPT-4o / Gemini 1.5 Pro:图像 + 语音都支持,多模态最全
- DeepSeek V3 / Qwen 普通版:纯文本模型,没有多模态能力
- LLaMA 3.2 Vision:本地多模态模型,离线也能看图
在助手设置里切换模型时,注意看当前模型是否支持多模态——Cherry Studio 会在模型选择下拉里标注能力标签。