LM Studio 与其他本地模型接入,不止 Ollama 一个选择
本地模型不止 Ollama
Ollama 是最流行的本地模型运行方案,但它不是唯一选择。不同场景下另外几个工具可能更合适:
| 工具 | 特点 | 适合人群 |
|---|---|---|
| LM Studio | 完整 GUI 界面、一键下载模型、支持 GGUF / MLX / ONNX 多种格式 | 不想碰终端的新手,需要可视化管理的用户 |
| OpenVINO Model Server(OVMS) | Intel 硬件原生加速,CPU 上推理比 Ollama 快 30-50% | Intel NUC、笔记本等设备,注重推理速度 |
| New API | 自建网关,统一转发多家模型(本地 + 云端) | 需要统一 API 出口的开发者或团队 |
| vLLM | 高性能推理引擎,支持 PagedAttention | 需要高并发吞吐的服务器场景 |
LM Studio 接入 Cherry Studio
LM Studio 有一个完整的 GUI 界面,模型下载、量化、加载全部在窗口里点。连接 Cherry Studio 的步骤:
- 启动 LM Studio,左下角的「Start Server」点一下,服务默认在
http://localhost:1234监听 - 确认「Server API Port」是 1234(默认值),以及「Supported API Types」勾选了 OpenAI Compatible
- 打开 Cherry Studio 设置 → 模型服务商 → 添加 → 自定义服务商
- 端点地址填
http://localhost:1234/v1,类型选「文本生成(OpenAI)」 - 保存后回到模型下拉,就能看到 LM Studio 当前加载的模型
LM Studio 的优势是模型库覆盖广——HuggingFace 上 GGUF 格式的开源模型它基本都支持,而且 GUI 界面对新手友好。
OVMS:Intel 硬件加速
如果你用的是 Intel NUC、酷睿 Ultra 笔记本或者 Xeon 服务器,OVMS 能让 CPU 上的推理速度比 Ollama 快一截——Ollama 默认是纯 CPU 推理,OVMS 可以调用 Intel 的 OpenVINO 库做硬件加速。
OVMS 启动后监听的端口默认是 8000,在 Cherry Studio 里添加自定义服务商时端点地址填 http://localhost:8000/v1,类型选「文本生成(OpenAI)」。连接成功后,Cherry Studio 的绘画页面也会自动检测到 OVMS 端点,如果你的 OVMS 实例里跑了图像模型,它会出现在绘画模型下拉里。
New API:自建网关
New API 是一个开源的「模型聚合网关」——你自己部署一个实例,把多家厂商的 Key 都配在里面,然后对外暴露一个统一的 OpenAI 兼容接口。好处是:
- 任何兼容 OpenAI 的客户端(包括 Cherry Studio)只需要连一个端点就能用多家模型
- 可以做配额管理、计费、缓存、负载均衡
- 企业级场景下方便统一管控
在 Cherry Studio 里添加 New API 和添加 LM Studio 的方式一样——自定义服务商,端点地址填你的 New API 实例地址。New API 的模型名称通常会加前缀区分来源,比如 deepseek-chat、gpt-4o,Cherry Studio 会原样显示。
本地模型和云端模型的差异
- 速度:本地 7B 模型在消费级显卡上首 token 延迟 2-5 秒,云端 DeepSeek V3 通常 0.5-1 秒
- 质量:云端旗舰模型(DeepSeek V3、Claude 3.5 Sonnet)在复杂推理和长文本上明显强于本地 7B 模型;本地 70B 模型能追平但硬件成本高
- 成本:本地模型只耗电费和硬件,跑再久不花钱;云端按 token 计费
- 隐私:本地模型数据不出设备,云端模型数据会发往厂商(除非是自建端点)
实际工作流里通常是混搭:日常简单问答用本地省钱,复杂任务切云端;敏感话题本地处理,公开写作云端追求质量。