Ollama本地大模型安装教程

掌握Ollama，轻松部署大语言模型，提升本地工作流效率。
核心内容：
1. Ollama大语言模型服务后台介绍及其优势
2. Ollama安装步骤与系统要求
3. 检查安装成功及模型下载路径设置

为了给后续的工作流和本地模型铺路，有必要聊聊Ollama这个本地大语言后台的安装。

1. Ollama

在正式开始之前，先聊聊Ollama到底是什么。

简单来说，Ollama是一个大语言模型的服务后台。它的目标很明确：让零基础的用户也能轻松地在本地部署大语言模型。

那么，它到底有哪些值得关注的特点？

先看优势：Ollama的核心能力是帮你快速搭建一个大语言模型服务，同时提供API接口。这意味着它可以无缝连接到Dify这样的Web前端，或者Obsidian这样的笔记软件，让你用最快的速度搭建起AI问答、Agent流程、自动化工作流。更重要的是，Ollama上的模型是免费下载的，主流开源大模型基本都能找到。而且，它支持Windows、Linux、MacOS，跨平台体验做得不错。

再说局限：当然，它也不是万能的。部分比较特殊或小众的开源模型可能没有被收录，而且模型库数量庞大，用户需要根据自己的实际需求来分辨和选择。

总的来说，Ollama是目前搭建本地大语言模型后台最快速、最方便的选择之一。

2. Ollama的安装

2.1 下载Ollama

在下载之前，有几个关键点需要先盯住：

1、系统要求：Windows系统必须在Windows10及以上。

2、硬件门槛：如果打算跑7B以上的模型，硬件配置建议是这样的——显存6GB以上，内存16GB以上，独立显卡是标配，NVIDIA显卡是首选。如果是集成显卡或纯CPU跑，速度会慢一大截。

下载地址在这里：https://ollama.com

打开官网后，点击Download按钮，下载对应系统的安装程序。下载完毕后，双击安装包，一路下一步即可完成安装。

2.2 查看安装是否成功

安装成功后，Ollama的图标会出现在任务栏右下角。

看到这个图标，就说明安装成功了。

接下来，打开浏览器，在地址栏输入：
http://127.0.0.1:11434
或者
http://localhost:11434
如果页面上显示出一行小字，说明Ollama服务已经成功运行。

2.3 Ollama模型下载路径相关设置

如果你的C盘空间比较紧张，担心被几个G甚至几十G的模型文件塞满，可以提前修改模型下载路径。如果无所谓，可以跳过这一步。

操作方法：点击Windows开始按钮（或直接按Win键），选择设置，或者按下快捷键Win+i打开设置。在搜索框中输入“系统变量”，然后点击“编辑系统环境变量”。在弹出的窗口中选择“环境变量”，在用户变量中点击“新建”，然后输入：

变量名：OLLAMA_MODELS
变量值：（你希望存放大语言模型的具体路径。比如你想把模型放在E盘的某个文件夹，那么变量值就输入对应的路径，例如：E:\Github code\OLLAMAMODEL）

点击确定后，这个新变量就会出现在你的用户变量中。
至于OLLAMA_HOST这个变量，对于Docker部署前台可能不太有利，建议不要设置。

3. 试运行Ollama

提前说明：如果上述操作都成功，但下面的操作没反应，别急，重启一下电脑试试。

3.1 Ollama试运行（验证服务）

在Windows图标上点右键，选择“终端管理员”或“终端”。当然，直接Win+R输入cmd启动命令提示符也可以，不过建议用管理员权限打开。

在打开的黑色窗口中输入ollama，然后回车。如果出现下面的内容，说明服务运行正常。

（此处省略插图说明：如需在正式文章中插入图片、视频、小程序卡片等元素，请自行到后台操作。）

3.2 Ollama模型选择

进入Ollama的模型图书馆：https://ollama.com/library

刚开始可能会有些迷茫，不知道选什么模型。这里推荐几个常见场景下的选择：

Qwen2：通义千问2，对中文的支持能力相当不错。在通用型中文开源模型中，它的表现很突出。如果电脑配置一般，推荐使用1.5B模型（CPU就能跑）；如果独立显卡性能较好，7B模型是不错的选择。至于更大的72B模型，如果显卡不太给力，建议谨慎尝试。

DeepSeek-Coder-V2：如果你是程序员，这个模型非常对口。它采用MoE架构，反应速度不错，支持多种编程语言，可以看作一个相当好用的编程助手。

Phi3：微软推出的小模型，运行速度极快，占用空间小，运行效果尚可，很适合硬件配置不太高的设备。不过因为模型太小，输入和输出的能力有限。但是，如果选用的是Phi3的中等尺寸版本，情况会好很多。注意，它的主要语料是英文，所以中文能力一般。

Llama3.1：目前最新的Llama模型。推荐使用8B版本，或者8B对应的量化版本，速度可以很快。如果你的常用语言是中文，Llama3.1可能不是最优选择。

Command-R系列（Command-R和Command-R+）：这是一个相当有特色的系列。在之前关于“9.8和9.11谁更大”的问题上，它是唯一一个回答正确的大模型，而且模型非常规整，很适合作为企业级大模型。不过，模型体积偏大，尤其是Command-R+，104B的体量对硬件要求比较高。同一家公司还推出了表现不错的Aya模型，适合做有性格设定的数字人。

Lla va：一个很推荐的多模态大模型，可以识别并描述图片。不过它对中文支持较差，推荐使用它的变体Lla va-Llama3，语言支持性更好。

BGE-Large和BGE-M3：这两个是embedding知识库压缩模型，不是用来生成文字的，而是专门用于知识库压缩的，对中文文本支持能力较好。属于特殊类型的大模型。BGE-M3是最新版本。

3.3 Ollama模型下载

在模型库中找到你喜欢的模型，页面上会自动出现对应的运行命令。点击右边的复制按钮（以最近被炒得火热的Llama3.1模型为例）。

然后在黑色窗口中粘贴（右键即可），按下回车。

等待下载完成，会有进度条显示，时间取决于你的网速。

下载完成后会自动运行（如果已经下载过，会直接运行）。然后你就可以在命令行直接输入问题，按回车就能得到答案。

4. 结语

至此，Ollama已经成功部署到你的电脑本地了。

在后面的内容中，我们会以Ollama为核心，进一步探讨如何建设个人知识库。

当然，开源大模型在不断更新，最终选择什么模型，还需要根据自己的业务场景和实际需求来判断。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：Ollama本地大模型安装教程要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题