Cherry Studio 知识库文档预处理,让 AI "读懂"图片里的文字
为什么需要预处理
知识库索引的核心是向量化——把文本转成向量才能被检索。但很多你想扔进去的资料不是纯文本:
- 扫描版 PDF:是图片,没有文字层
- 含公式的文档:LaTeX 公式、手写公式
- 带表格的文档:Excel 导出的 PDF、手工绘制的表格
- 图片里的文字:展会资料照片、App 截图、英文菜谱
- 含代码的技术文档:代码块不能和正文一样切分
不做预处理直接索引,AI 要么读不到(扫描 PDF),要么读错(公式变成乱码),要么检索精度差(代码块和正文混了)。
Cherry Studio 的预处理能力
| 非文本类型 | 预处理方式 | 说明 |
|---|---|---|
| 扫描 PDF | 自动 OCR + 版面分析 | 识别文字、区分段落、保留版式顺序 |
| 图片 | OCR 识别文字 | 和翻译页面的 OCR 同一套能力 |
| 表格 | 结构化抽取 | Excel / Word / PDF 里的表格转成 Markdown 表格再索引 |
| 公式 | LaTeX 转文本表示 | 保留公式语义,方便检索 |
| 代码块 | 独立切分 | 代码块不切分,整块作为一个检索单元 |
| 网页 | 正文抽取 + 去广告导航 | 只留正文内容,剥离无关元素 |
预处理在索引之前自动执行——你拖文件进知识库,Cherry Studio 先做预处理,然后再切分、向量化、建索引。
预处理质量怎么保证
- OCR 依赖多模态模型:扫描 PDF 的文字识别需要调用多模态模型(GPT-4o、Gemini 等)。如果你没配多模态模型,Cherry Studio 会用降级方案(纯文本抽取),扫描 PDF 可能识别不出内容
- 版面分析:预处理会分析文档的段落顺序,确保 OCR 后的文字排版和原文一致(避免两栏 PDF 左右混乱)
- 预览确认:预处理完成后可以在知识库数据源详情里预览抽取的文本,确认无误后再启动索引
加速预处理
预处理是整个索引流程里最耗时的环节——几百页扫描 PDF 可能要等几分钟。几个加速技巧:
- 先手动转:重要扫描 PDF 先用 Adobe Acrobat 或 macOS Preview 的"OCR"功能手动转成可搜索 PDF,再拖进知识库——Cherry Studio 检测到有文字层会跳过自动 OCR
- 分批添加:不要一次拖进 100 份扫描件,分批处理
- 用云端多模态模型:OCR 走云端多模态模型比本地 OCR 快得多
预处理失败怎么办
如果知识库索引一直卡住、或者预览里文字识别乱码:
- 检查多模态模型是否可用(没有配 GPT-4o / Gemini 时,Cherry Studio 可能没走 OCR)
- 尝试把文件拆成小份,单独添加
- 确认你的文件是 UTF-8 编码,不是 GBK / GB2312(中文乱码常见原因)
- 删除数据源后重新拖入,Cherry Studio 会重新跑一遍预处理