cherry studio 中文文档 下载 App

Cherry Studio 接 Ollama 本地模型,离线也能完整对话

为什么用 Ollama

云端模型虽然方便,但有几个场景不适合:一是隐私敏感的对话(公司内部文档、合同条款、个人健康数据)不能发到第三方;二是网络受限或想省 token 开销时;三是想体验 Llama 3、Mistral、Qwen 这些开源模型的独特能力。

Ollama 是目前最流行的本地大模型运行框架——一行命令拉取模型,一行命令启动服务,Windows、macOS、Linux 全平台支持。Cherry Studio 原生兼容 Ollama,不需要额外安装驱动或写配置文件,打开就能发现本地已经在跑的模型。

本地与云端模型混编
Cherry Studio 里本地 Ollama 模型和云端服务商并列显示

前置条件

在开始之前,先确认这三件事:

  1. 装了 Ollama:去 Ollama 官网下载安装包,Windows 直接下 .exe,macOS 用 .dmg,Linux 一条 curl 命令搞定。安装完在终端跑 ollama -v,有输出版本号就说明装好了
  2. 拉一个模型:终端里 ollama pull qwen2.5:7b 拉取通义 Qwen 2.5 7B 模型。ollama list 能看到已拉取的模型清单
  3. 服务在跑:Ollama 默认监听本机 11434 端口,启动后后台常驻。ollama serve 可以手动启动,但通常安装后会自动注册系统服务

Cherry Studio 里接入 Ollama

设置 → 模型服务商 → 添加 → 找到 Ollama。Cherry Studio 会自动探测本地 localhost:11434,如果服务在跑,已拉取的模型会直接显示在列表里。选上要用的模型端点就能挂进来,不需要填 API Key。

默认连接地址就是 http://localhost:11434,如果你改了 Ollama 的监听端口(比如多实例部署时),在 Cherry Studio 的 Ollama 设置里手动填就行。

云端和本地怎么混搭

接好 Ollama 后,你在 Cherry Studio 的任何模型选择下拉里都会看到两个分区:云端服务商(DeepSeek、Claude、Gemini 等)和本地 Ollama。同一个对话里,回答到一半想切成本地模型接着聊,在助手的模型设置里换一下就好——上下文历史 Cherry Studio 会带着走。

实际工作流里常见的混搭模式:敏感话题切本地 Ollama 处理,需要强推理和长上下文时切云端的 DeepSeek 或 Claude。

常见本地模型推荐

模型参数量适合场景硬件要求
Qwen2.5:7b7B日常对话、中文理解好8GB 显存(或纯 CPU)
Llama 3.1:8b8B英文指令跟随、Agent 任务8GB 显存
Mistral 7b7B轻量快速、多语言4GB 显存
Phi 3.53.8B极简场景、手机/平板端2GB 显存
CodeLlama7B/13B代码生成与审查8-12GB 显存

硬件不够时可以用量化版本(ollama pull qwen2.5:7b-q4_K_M 是 4 比特量化),牺牲一点精度换速度和资源占用。

排查:连不上 Ollama