cherry studio 中文文档 下载 App

LM Studio 与其他本地模型接入,不止 Ollama 一个选择

本地模型不止 Ollama

Ollama 是最流行的本地模型运行方案,但它不是唯一选择。不同场景下另外几个工具可能更合适:

工具特点适合人群
LM Studio完整 GUI 界面、一键下载模型、支持 GGUF / MLX / ONNX 多种格式不想碰终端的新手,需要可视化管理的用户
OpenVINO Model Server(OVMS)Intel 硬件原生加速,CPU 上推理比 Ollama 快 30-50%Intel NUC、笔记本等设备,注重推理速度
New API自建网关,统一转发多家模型(本地 + 云端)需要统一 API 出口的开发者或团队
vLLM高性能推理引擎,支持 PagedAttention需要高并发吞吐的服务器场景

LM Studio 接入 Cherry Studio

LM Studio 有一个完整的 GUI 界面,模型下载、量化、加载全部在窗口里点。连接 Cherry Studio 的步骤:

  1. 启动 LM Studio,左下角的「Start Server」点一下,服务默认在 http://localhost:1234 监听
  2. 确认「Server API Port」是 1234(默认值),以及「Supported API Types」勾选了 OpenAI Compatible
  3. 打开 Cherry Studio 设置 → 模型服务商 → 添加 → 自定义服务商
  4. 端点地址填 http://localhost:1234/v1,类型选「文本生成(OpenAI)」
  5. 保存后回到模型下拉,就能看到 LM Studio 当前加载的模型

LM Studio 的优势是模型库覆盖广——HuggingFace 上 GGUF 格式的开源模型它基本都支持,而且 GUI 界面对新手友好。

OVMS:Intel 硬件加速

如果你用的是 Intel NUC、酷睿 Ultra 笔记本或者 Xeon 服务器,OVMS 能让 CPU 上的推理速度比 Ollama 快一截——Ollama 默认是纯 CPU 推理,OVMS 可以调用 Intel 的 OpenVINO 库做硬件加速。

OVMS 启动后监听的端口默认是 8000,在 Cherry Studio 里添加自定义服务商时端点地址填 http://localhost:8000/v1,类型选「文本生成(OpenAI)」。连接成功后,Cherry Studio 的绘画页面也会自动检测到 OVMS 端点,如果你的 OVMS 实例里跑了图像模型,它会出现在绘画模型下拉里。

New API:自建网关

New API 是一个开源的「模型聚合网关」——你自己部署一个实例,把多家厂商的 Key 都配在里面,然后对外暴露一个统一的 OpenAI 兼容接口。好处是:

在 Cherry Studio 里添加 New API 和添加 LM Studio 的方式一样——自定义服务商,端点地址填你的 New API 实例地址。New API 的模型名称通常会加前缀区分来源,比如 deepseek-chat、gpt-4o,Cherry Studio 会原样显示。

本地模型和云端模型的差异

实际工作流里通常是混搭:日常简单问答用本地省钱,复杂任务切云端;敏感话题本地处理,公开写作云端追求质量。