Pipeline Parallelism
将模型按层切分到多个设备上形成流水线，每个设备处理不同层，通过微批次（micro-batch）调度减少空闲时间，实现超大规模模型训练。
一句话解释
Pipeline Parallelism（流水线并行）是一种分布式训练策略，将深度学习模型按层（Layer）切分成多个阶段（Stage），每个阶段放置在不同的计算设备上，数据像流水线一样依次经过各阶段处理。
为什么会被关注
随着模型参数突破千亿甚至万亿，单卡显存无法容纳完整模型。Pipeline Parallelism通过层切分大幅降低单个设备显存压力，同时利用微批次调度让不同设备并行工作，提升整体训练吞吐量，成为大模型训练不可或缺的技术之一。
核心逻辑
核心思路是将模型划分为连续的子模块，每个设备负责一个子模块的前向与反向计算。为减少设备等待（即“流水线气泡”），引入微批次（Micro-batch）概念：将大批次数据拆成多个微批次依次送入流水线，各设备在处理完当前微批次后立即转入下一微批次，重叠计算与通信。
常见场景
主要用于超大规模语言模型（如GPT-4、LLaMA等）的分布式训练，尤其当模型层数极深、单卡显存不足时。常与数据并行（Data Parallelism）、张量并行（Tensor Parallelism）组合使用，构成3D并行策略，在数千GPU集群上高效训练千亿参数模型。
容易混淆的点
容易与模型并行（Model Parallelism）混为一谈。实际上模型并行是统称，包含张量并行和流水线并行。流水线并行是纵向切分层，而张量并行是横向切分层内的参数矩阵。另外，流水线并行中的微批次与数据并行中的全局批次不同，微批次是用于填满流水线内部的小批次。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词Token Healing通过修复分词边界导致的概率偏差，提升模型生成文本的连贯性与准确性，是减少词汇分裂错误的重要方法。
Context Rot（上下文旋转）指AI模型在长对话或多轮任务中，逐渐丢失或混淆早期关键信息，导致回答质量下降的现象。它类似人类的短期记忆衰减，但成因更复杂：受限于固定上下文窗口，以及模型对远距离信息的注意力衰减。了解Context Rot有助于优化提示词设计和选择更合适的模型。
推理蒸馏（Reasoning Distillation）是一种特殊的模型蒸馏技术，它不止迁移知识答案，更侧重于将大模型（如GPT-4）的推理过程、思维链和逻辑步骤“压缩”到小模型中，使其在资源受限环境下仍能具备复杂的多步推理能力。这项技术正被广泛应用于端侧智能、实时问答和低成本AI部署。
Model Merging（模型合并）是将两个或多个独立训练的 AI 模型的参数或架构进行组合，生成一个更强、更稳定且无需额外大规模训练的新模型。它区别于传统的模型集成（Ensemble）和模型蒸馏，能在保持推理效率的同时融合多个模型的知识。
Model Spec 是一套定义 AI 模型（如大语言模型）在生成内容时应遵守的行为准则、输出格式和安全约束的技术规范，帮助开发者与用户理解模型的能力边界。
Superalignment（超级对齐）是OpenAI提出的研究方向，目标是在未来出现比人类更聪明的AI系统时，仍能确保其行为符合人类的意图和价值观。它通过可扩展的监督、自动化对齐等技术，解决AI控制难题。