Docker三分钟部署LLama3开源大模型本地

概述

LLaMA-3（Large Language Model Meta AI 3）是Meta公司最新推出的开源大语言模型。相较于上一代LLaMA-2，它在模型结构上并未进行颠覆性的重构，而是一次稳扎稳打、聚焦优化迭代的版本升级。

本次发布了三种参数规模的版本：8B（轻量级）、70B（中规模）以及尚在训练中的400B（超大规模）。其中400B版本计划支持多模态与多语言能力，据Meta官方透露，其综合表现有望与GPT-4/GPT-4V相抗衡。而8B和70B版本现已开放下载，可直接使用，分别适用于不同计算资源环境下的本地部署与推理需求。

安装 Ollama

如果要在本机环境下顺利运行LLaMA-3模型，需要先安装今天的主角——Ollama。这是一款开源的LLM服务工具，本质上相当于一个帮助你在本地容器中快速拉起大模型的脚手架。只需一条命令即可完成部署，大大减少了繁琐的环境配置步骤。

官网地址：https://ollama.com/download

Ollama原生支持Mac和Linux操作系统，同时也提供了Docker镜像。你可以编写一个Modelfile文件来导入或自定义模型，其思路与Dockerfile类似。该工具内置了REST API接口和命令行交互功能，方便开发者管理和测试模型。启动后，可通过日志输出确认服务是否正常运行。

Ollama服务启动日志

模型管理

下载模型

ollama pull llama3:8b

默认情况下，下载的是llama3:8b版本。冒号前为模型名称，冒号后为版本标签（tag）。如需查看所有可用的标签，可前往Ollama官方模型仓库进行检索。

模型测试

下载完成后即可直接运行。需要注意的是，若希望模型使用中文进行回复，建议在首次对话时输入：你好！请中文回复，它会自动切换至中文语言模式。

配置Open-WebUI

如果仅靠命令行操作还不够直观便利，可进一步安装一个Web图形界面——Open-WebUI。它是一个开源的LLM聊天前端，与Ollama搭配使用，能带来更流畅的交互体验。

在CPU下运行

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

访问

启动后，在浏览器地址栏输入 http://127.0.0.1:3000 即可打开页面。首次访问需注册一个账户，任意填写邮箱和密码即可完成注册。我直接注册后登录进入系统。

初次访问需要注册，这里我注册一个账号，注册完成登录成功

接着在设置中将语言切换为中文，界面会变得更加友好亲切。

切换中文语言

下载llama3:8b模型

在Open-WebUI中，你也可以直接下载模型。若先前已通过命令行执行过ollama pull，系统会自动识别并加载。若尚未下载，在模型管理页面输入llama3:8b，点击下载按钮即可完成。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：Docker三分钟部署LLama3开源大模型本地要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题