本地部署Ollama大模型零成本开启AI开发之旅教程

本地部署Ollama大模型：零成本开启你的AI开发之旅

简介

你是否想过，拥有一个完全属于自己、无需担心隐私泄露、也不需每月付费的AI助手？通过本地部署Ollama，你可以轻松运行各种开源大模型。本文将手把手带你从零搭建环境，并介绍如何将其用于本地开发。

什么是Ollama？

Ollama是一个开源的本地大模型运行框架，支持Qwen3.5、Llama3、Mistral等主流开源模型。它底层基于Docker和Rust构建，提供简洁的命令行接口和Web UI，上手门槛极低，非常适合个人开发者与AI爱好者。

环境准备

1. 安装Docker

# 检查系统中Docker是否已安装
docker --version
# 若未安装，MacOS用户可通过Docker Desktop官网下载：
# https://www.docker.com/products/docker-desktop

2. 安装Ollama

# macOS系统安装命令
brew install ollama
# Linux系统（Ubuntu/Debian）安装命令
curl -fsSL https://ollama.com/install.sh | sh
# Windows用户请访问Ollama官网下载安装包：
# https://ollama.com/download

3. 启动服务

# 启动Ollama服务
ollama serve
# 后台运行（可选）
ollama serve &
# 查看当前已安装的模型列表
ollama list
# 拉取模型（默认使用CPU优化版本）
ollama pull qwen3.5
ollama pull llama3.2:3b
ollama pull mistral

使用Ollama

1. 命令行交互

# 启动交互式对话
ollama run qwen3.5
# 退出当前对话
Ctrl+D 或输入 /exit
# 指定模型版本运行
ollama run qwen3.5:7b

2. 设置环境变量

# 设置上下文窗口长度（默认4096）
OLLAMA_NUM_GPU_LAYERS=0 ollama serve
# 设置最大并发请求数量
OLLAMA_MAX_CONCURRENT_REQUESTS=4 ollama serve

本地开发

1. Python API使用

import requests
from langchain_ollama import ChatOllama

# 初始化聊天模型实例
llm = ChatOllama(model="qwen3.5", base_url="http://localhost:11434")
# 执行对话请求
response = llm.invoke("你好，请介绍一下Ollama")
print(response)

2. JavaScript/TypeScript使用

// 使用兼容OpenAI格式的Node.js客户端
const response = await fetch("http://localhost:11434/api/generate", {
    method: "POST",
    headers: { "Content-Type": "application/json" },
    body: JSON.stringify({
        model: "qwen3.5",
        prompt: "你好，请介绍一下Ollama",
        stream: false
    })
});
const result = await response.json();
console.log(result.response);

3. VS Code扩展

安装Ollama VS Code插件后，即可在编辑器中直接调用本地模型，实现代码辅助、文档生成等功能，极大提升开发效率。

配置建议

1. 模型选择

2. 性能优化

• 通过 --num-gpu-layers 参数指定GPU加速层数
• 设置 OLLAMA_MAX_LOADED_MODELS 环境变量控制同时加载的模型数量
• 使用 OLLAMA_NUM_PARALLEL 环境变量设置并行请求数量

常见问题

1. 模型加载失败

# 清理模型缓存并重新拉取
ollama rm 
ollama pull 
# 重启Ollama服务
ollama serve

2. 内存不足

# 切换到更小参数的模型
ollama pull llama3.2:3b
ollama run llama3.2:3b

3. 网络问题

# 设置允许的源地址
OLLAMA_ORIGINS="http://localhost" ollama serve

总结

Ollama是一个简单高效的本地大模型运行框架，无需复杂配置即可快速上手。它支持多种主流开源模型，并提供丰富的API接口，无论你是专业开发者还是个人AI爱好者，都能从中获得极大便利。

最后的小建议：定期更新Ollama及模型版本，以确保获得最佳性能与最新特性。