完全开源大模型OLMo训练方法详解

最近，艾伦人工智能研究所（AI2）联合多家顶尖学术机构，共同推出了史上首个完全开源的大模型——OLMo！英文全称为Open Language Model，顾名思义，其核心特色就是开放透明。

OLMo的独特之处，用四个字概括就是：完全开源。这并非那种仅开放权重、文档写一半的“伪开源”，而是将全部家底毫无保留地公开：完整的训练数据（包括生成数据的代码）、完整的训练与评估代码、中间模型检查点（每个基础模型拥有500多个，训练过程中每1000步保存一个），以及详尽的训练日志。对于研究者和开发者而言，这堪称“开箱即用”的宝藏级资源。

目前OLMo已开源三个规格的模型，具体参数如下表所示：

其中65B的模型仍在训练中，目前开源的最大规格是OLMo 7B，已足以覆盖绝大多数应用场景。

Dolma简介

OLMo的成功离不开其背后的数据基石——Dolma。Dolma主要由两部分构成：

• Dolma数据集：一个包含3万亿tokens的海量数据集，涵盖网页内容、学术出版物、代码、书籍、百科全书等，总大小约5.4TB。

• Dolma工具包：一个专为整理语言建模数据设计的高性能工具包，让数据预处理变得高效且便捷。

Dolma数据集

以下是数据集v1.6版本（发布于2024年1月31日）的统计结果：

可以看出，数据来源极为多元，网页内容占比最大，但代码、学术论文、书籍等也占据了合理的比例。

Dolma工具包

Dolma Toolkit 的设计亮点突出：

• 高性能：内置并行处理能力，可同时处理数十亿个文档。

• 可移植：无论是单机、集群还是云环境，都能无缝运行。

• 快速去重：采用 Rust Bloom 过滤器，文档去重效率极高。

• 可扩展：支持自定义标记器及 AWS S3 兼容存储。

• 内置标记器：提供现成的标记器，开箱即用。

安装过程极为简洁，一行命令即可完成：

pip install dolma

OLMo

安装

git clone https://github.com/allenai/OLMo.git
pip install ai2-olmo

推理

借助 Hugging Face 的 pipeline 即可快速启动推理：

from transformers import pipelineolmo_pipe = pipeline("text-generation", model="allenai/OLMo-7B") # 这里可以直接指定自己的目录print(olmo_pipe("Language modeling is"))
## 输出## Language modeling is a process of training a machine learning model to learn from data...

量化

若需节省显存，可使用 bitsandbytes 进行 8bit 量化：

from transformers import AutoModelForCausalLM, AutoTokenizer
olmo = AutoModelForCausalLM.from_pretrained("allenai/OLMo-7B", torch_dtype=torch.float16, load_in_8bit=True)

训练

想从头训练模型？直接使用 torchrun 启动即可：

torchrun --nproc_per_node=8 scripts/train.py configs/official/OLMo-1B.yaml

微调

微调时需指定数据路径和检查点路径：

torchrun --nproc_per_node=8 scripts/train.py {path_to_train_config} --data.paths=[{path_to_data}/input_ids.npy] --data.label_mask_paths=[{path_to_data}/label_mask.npy] --load_path={path_to_checkpoint} --reset_trainer_state

评估

OLMo 还附带了一个评估仓库 OLMo-Eval，支持在多个任务集上评估多个模型，可计算聚合指标，并能集成报告。对于需要进行对比实验的研究人员来说，这一功能极为便利。

小结

尽管 OLMo 在效果上目前尚未达到惊艳的水平（毕竟开源模型要赶超闭源头部产品仍需时日），但它为 AI 研究提供了极其宝贵的资源——完整的数据、代码和检查点，大幅降低了研究与开发的门槛。OLMo 的发布，标志着 AI 开源模型进入了一个全新阶段：不再仅仅是模型权重的开放，而是整个生态的开放。随着越来越多的研究机构和企业加入开源行列，未来的 AI 技术将更加开放、透明、可复现，这才是真正意义上的创新催化剂。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：完全开源大模型OLMo训练方法详解要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题