第三方应用访问Ollama的完整教程
Ollama默认将模型存储在系统盘,可通过环境变量OLLAMA_MODELS修改路径。模型可导出为GGUF文件,也可从HuggingFace下载GGUF模型并通过Modelfile导入。第三方应用通过兼容OpenAI的API访问,需设置OLLAMA_ORIGINS允许跨域,配置后即可调用本地模型。
很多人在本地部署大模型时,常常会遇到一个令人头疼的问题:Ollama 默认会将模型文件保存在系统盘(Windows 环境下通常是 C 盘),而单个模型动辄数 GB,C 盘空间很快就会被占满。更让人无奈的是,你找不到一个直观的“设置”按钮来直接修改存储位置。其实,答案就在环境变量里,只需简单配置即可轻松迁移。
模型所在磁盘空间不足了怎么办?
Windows
先查看 Ollama 的帮助信息,确认一下有哪些可调参数:
ollama.exe serve --help
在返回的信息中,一个关键的环境变量名为 OLLAMA_MODELS,它默认指向 ~/.ollama/models。只需将它修改为你希望存放的路径,比如 D 盘下的某个目录,Ollama 就会把模型保存到新位置。配置方式有两种:一是在系统设置里添加用户变量或系统变量,二是在命令行中直接设置。

命令行方式更为直接:
set OLLAMA_MODELS=d:ollama
配置完成后,务必重启 Ollama 服务,新路径才会生效。
Linux 和 mac下
在 Linux 或 macOS 系统上,默认路径同样是 ~/.ollama/models,与 Windows 一样通过环境变量 OLLAMA_MODELS 来修改。例如想迁移到 /data/ollama 目录:
export OLLAMA_MODELS=/data/ollama
将这条命令添加到 shell 配置文件(例如 .bashrc 或 .zshrc)中,即可永久生效,无需每次手动设置。
导出某个模型
有时我们需要将已下载的模型单独导出为 GGUF 文件,方便备份或迁移到其他环境。以 qwen:7b 为例,先查看它的模型文件详细信息:
ollama show --modelfile qwen:7b
返回的信息中,FROM 行后面的路径就是模型文件的实际物理位置(一个以 SHA256 哈希命名的 blob 文件)。例如在 macOS 上看到的是:
FROM /Users/m2max/.ollama/models/blobs/sha256-87f26aae09c7f052de93ff98a2282f05822cc6de4af1a2a159c5bd1acbd10ec4
把这个文件复制出来,重命名为 qwen_7b.gguf 即可:
cp /Users/m2max/.ollama/models/blobs/sha256-46bb65206e0e2b00424f33985a5281bd21070617ebcfda9be86eb17e6e00f793 qwen_7b.gguf
Windows 下的操作类似,先用 ollama.exe show --modelfile qwen:7b 查看路径,然后使用 copy 命令导出:
copy C:Userssteven.ollamamodelsblobssha256-87f26aae09c7f052de93ff98a2282f05822cc6de4af1a2a159c5bd1acbd10ec4 qwen_7b.gguf
请注意,导出的文件就是标准的 GGUF 格式,可以直接被其他推理框架使用。
如何导入模型
如何下载网上的某个模型
你可以从 Hugging Face 或国内镜像站 hf-mirror.com 下载现成的 GGUF 格式模型(省去自己转换的麻烦)。以近期热门的 Octopus-v2 为例,搜索该模型名,找到带有 GGUF 标识的仓库,比如 这个链接,选择合适量化版本的 .gguf 文件下载即可。

如何导入模型
下载好 GGUF 文件后,要将其变成 Ollama 可识别的模型,需要准备一个 Modelfile。最简洁的写法仅需一行:
From /path/to/qwen_7b.gguf
也可以更完整地使用从 ollama show 导出的模板,将其中的 FROM 路径替换为你自己的 GGUF 文件路径,并保留原有的 TEMPLATE 和 PARAMETER 设置。注意不同模型的 TEMPLATE 和 stop 参数可能有所差异,如果不太确定,留空也没关系,Ollama 会使用默认值。
准备好 Modelfile 后,执行创建命令:
ollama create qwen:7b -f Modelfile

有一个容易踩的坑:导入时,硬盘可用空间最好保持在模型大小的 2 倍以上。因为 ollama create 过程会先复制一份模型数据(transferring model data),然后生成一个新的模型层(creating model layer),最后才删除临时副本。如果空间不足,导入就会失败。
第三方应用如何访问ollama
Ollama 默认提供了一套兼容 OpenAI 的 API,这意味着许多支持 OpenAI 接口的工具(比如浏览器翻译插件)可以直接调用本地的 Ollama 模型。以沉浸式翻译为例,你需要设置环境变量 OLLAMA_ORIGINS 来允许跨域访问。
最省事的办法是允许所有来源:
OLLAMA_ORIGINS=*
不过要注意,这样做任何应用都能访问你的 Ollama 服务,如果对安全性有顾虑,可以只开放特定的 origin,例如浏览器扩展的协议前缀:http://,https://,chrome-extension://,safari-extension://,moz-extension://,ms-browser-extension://。
设置好环境变量并重启 Ollama 后,在沉浸式翻译的配置里选择自定义 OpenAI API,填入地址 http://127.0.0.1:11434/v1,模型名填你导入的模型(比如 qwen:14b),就能在浏览器里直接体验本地翻译了。实际效果流畅度相当不错,不妨一试。


你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:第三方应用访问Ollama的完整教程要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
相关热点HermesAgent通过Docker镜像打包所有依赖,一键部署,90秒内即可启动服务且免配置API密钥;Dify需手动设置数据库、存储等七类核心参数,依赖PostgreSQL与Redis中间件,故障排查需命令行操作,部署与维护门槛较高。
Dify是一款零代码大语言模型应用开发平台,通过拖拽节点即可构建AI工作流。用户只需三步:创建对话流应用、设计文档提取与LLM节点流程、上传CSV文件,即可获得可对话的数据分析助手。平台支持插件扩展,提升分析精度,但需注意大模型幻觉问题。该工具大幅降低数据分析门槛,助力科研效率提升。
QClaw生成Shell脚本有四种方式:自然语言描述需求、调用脚本模板、CLI根据目标环境自动适配语法、Webhook触发动态编译并签名执行。支持中文描述生成带错误处理和跨环境兼容的Bash代码,模板库通过多发行版验证,CLI可裁剪语法兼容性,Webhook实现告警驱动的实时修复脚本生成。
基于Dify工作流调用Firecrawl工具实现单网页自动化抓取,包含开始、单页面抓取、Markdown转换、结束四个节点。需在Firecrawl官网注册并配置APIKey,设置URL和输出文件名,结果格式为markdown。测试在国家标准化网站成功获取数据中心标准列表并输出可下载的MD文件。
- 日榜
- 周榜
- 月榜
热点快看
