Cherry Studio接入vLLM本地大模型部署教程
通过CherryStudio客户端，以Ollama服务项对接vLLM部署的本地大模型，实现OpenAIAPI兼容接入。配置时需保证模型名称与vLLM启动一致，API地址正确且含 v1，检测成功后即可使用本地模型对话。此方案支持离线私有化部署，保护数据隐私。
想体验本地大模型的强大能力，又希望拥有便捷的UI交互界面？Cherry Studio 正是你所需的工具。本教程将带你一步步完成从下载到配置的全流程，重点演示如何将vLLM部署在算力卡（如Ascend 910B4）上的本地大模型，通过OpenAI API兼容格式接入Cherry Studio。
核心内容
- Cherry Studio如何接入vLLM部署的本地大模型
- 详细步骤：从下载Cherry Studio到配置本地模型
- 注意事项：模型名称、API配置及OpenAI API兼容性问题
什么是Cherry Studio？
Cherry Studio 是一款便捷易用的UI客户端，其LLM来源既可以是各大云服务厂商，也可以是本地部署的大模型。下载后默认启用的模型服务商是硅基流动，使用起来快速而简单（参考：使用硅基流动API + Cherry Studio解锁DeepSeek R1满血版体验攻略）。
如何接入本地模型
下面我们将进入实际操作，具体步骤分为四步。
第一步：下载并安装Cherry Studio
从官方渠道下载Cherry Studio客户端，并完成安装。
小提示：安装后首次打开时，默认会连接到硅基流动服务。你可以稍后在设置中切换为本地模型。
第二步：进入模型服务设置
在Cherry Studio主界面，点击左侧的 设置（齿轮图标）→ 模型服务 → 选择 Ollama（注意：即便你的本地推理服务基于vLLM，Ollama与vLLM等中间件都支持OpenAI API兼容格式，因此选择Ollama条目即可完成配置）。
第三步：添加模型并配置API
- 点击下方的 添加 按钮。
- 在弹出的对话框中，填入你部署本地模型时设置的 模型名称（model-name），必须与vLLM部署时指定的名称完全一致。
- 点击 管理，将刚才添加的模型选中并确认。
- 接下来配置 API地址：一般格式为
http://你的服务器IP:端口/v1（例如http://192.168.1.100:8000/v1）。如果你没有设置API密钥，则无需填写API Key字段。
第四步：测试连接并选择默认模型
- 在模型服务界面，点击 检测 按钮。如果一切通畅，会提示 “连接成功”。
- 进入 默认模型 → 默认助手模型，从下拉列表中选择你刚添加的本地模型（即部署的ollama模型）。
完成上述步骤后，在主对话界面顶部的模型选择器中，就能看到你配置的本地模型了。
注意事项
- 模型名称必须准确：添加模型时填入的名称要和vLLM启动时指定的
--model-name或model参数完全一致，否则无法识别。 - API地址格式：请确认末尾包含
/v1，例如http://localhost:8000/v1。 - 关于OpenAI API兼容：虽然Cherry Studio设置界面也有“OpenAI”服务选项，但经过测试，直接选择OpenAI条目可能会因为API调用格式差异而失败。使用 Ollama 服务项来对接vLLM部署的模型是更稳定、更简洁的方案。
- API Key：如果vLLM启动时没有设置API Key，保持Cherry Studio中的API Key字段为空即可。
常见问题
Q1：为什么我点击“检测”时提示连接失败？
请检查以下几点：
- 确保vLLM服务已经成功启动，并且监听在正确的IP和端口上。
- 验证API地址格式是否正确（末尾须有
/v1）。 - 如果Cherry Studio和推理服务不在同一台机器，请确认防火墙已放行对应端口。
Q2：为什么Cherry Studio的“OpenAI”服务选项无法连接我的vLLM？
因为vLLM提供的OpenAI兼容接口在部分调用细节（如端点路径、请求格式）上与Cherry Studio的“OpenAI”默认配置不完全一致。经过实践，选择 Ollama 服务项可以完美兼容vLLM，所以推荐使用Ollama条目来配置。
Q3：我添加了模型名称，但对话时仍然看不到这个模型？
请确认你在“模型服务”中已经完成了 管理 操作（将添加的模型勾选启用），并且已经在“默认助手模型”里选择了该模型。此外，检测连接成功后，可能需要重启Cherry Studio才能使新模型完全生效。
通过以上步骤，你已经成功将本地vLLM部署的大模型与Cherry Studio连接起来。现在你可以享受流畅的本地AI对话体验，同时保留数据本地化的优势。如果配置过程中遇到其他问题，欢迎参考社区文档或留言交流。
你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：Cherry Studio接入vLLM本地大模型部署教程要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
相关热点乐聚机器人凭借在具身智能领域的技术突破、产品创新和商业化落地，成为人形机器人产业化领跑者。全尺寸机器人“夸父”已交付至一汽红旗等企业，稳定性提升至90%。从科研到工业再到服务领域，乐聚正推动人形机器人服务于千行百业。
生成舞台活动片头提示词时，需用【】锁定信息层级，为文字指定字体、描边与出现方式，用时间节点+动作或BPM数值绑定灯光节奏，避免模糊形容词和参照写法，确保关键信息清晰可读。
在选题评估提示词中删除固定维度名称，改用编辑部口语指令并限定字数与格式。通过代入编辑身份、场景化反馈、植入决策漏洞等方式，使输出结果像真人编辑的快速判断，减少机械感。
乐聚机器人在人形机器人领域实现产业化领跑，技术突破包括全身动量控制算法与工业场景落地，稳定性提升至90%。商业化方面已交付第100台全尺寸机器人，预计年内达千台级，路径从科研展厅逐步转向工业与通用服务。面对资本热潮，更强调开放场景对技术成熟的关键作用。
- 日榜
- 周榜
- 月榜
热点快看