Pipeline Parallelism
将模型按层切分到多个设备上形成流水线，每个设备处理不同层，通过微批次（micro-batch）调度减少空闲时间，实现超大规模模型训练。
一句话解释
Pipeline Parallelism（流水线并行）是一种分布式训练策略，将深度学习模型按层（Layer）切分成多个阶段（Stage），每个阶段放置在不同的计算设备上，数据像流水线一样依次经过各阶段处理。
为什么会被关注
随着模型参数突破千亿甚至万亿，单卡显存无法容纳完整模型。Pipeline Parallelism通过层切分大幅降低单个设备显存压力，同时利用微批次调度让不同设备并行工作，提升整体训练吞吐量，成为大模型训练不可或缺的技术之一。
核心逻辑
核心思路是将模型划分为连续的子模块，每个设备负责一个子模块的前向与反向计算。为减少设备等待（即“流水线气泡”），引入微批次（Micro-batch）概念：将大批次数据拆成多个微批次依次送入流水线，各设备在处理完当前微批次后立即转入下一微批次，重叠计算与通信。
常见场景
主要用于超大规模语言模型（如GPT-4、LLaMA等）的分布式训练，尤其当模型层数极深、单卡显存不足时。常与数据并行（Data Parallelism）、张量并行（Tensor Parallelism）组合使用，构成3D并行策略，在数千GPU集群上高效训练千亿参数模型。
容易混淆的点
容易与模型并行（Model Parallelism）混为一谈。实际上模型并行是统称，包含张量并行和流水线并行。流水线并行是纵向切分层，而张量并行是横向切分层内的参数矩阵。另外，流水线并行中的微批次与数据并行中的全局批次不同，微批次是用于填满流水线内部的小批次。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词法院AI应用是指人工智能技术在司法领域的落地实践，包括智能辅助办案、类案自动推送、裁判文书生成、庭审语音识别等，旨在提升审判效率与公平性，减轻法官事务性负担。
法院AI部署是指将语音识别、文书生成、类案推送等人工智能技术集成到法院办案流程中，旨在提升审判效率、降低人为差错，并推动司法透明化。近年来，各地智慧法院试点加速，AI从辅助工具逐渐嵌入核心业务环节。
法院AI训练指利用裁判文书、法律法规等数据，训练机器学习模型以辅助司法工作，如案件分类、证据分析、量刑建议等。它并非替代法官，而是通过技术手段提升效率与一致性，正成为智慧法院建设的核心环节。
法院AI仿真利用人工智能技术对法庭场景、审判程序、辩论逻辑进行数字化模拟，用于法律教学、案件预演、证据推演等场景，帮助法官、律师和法学院学生更直观地理解司法过程。
法院AI建模是指运用人工智能技术，尤其是大语言模型和机器学习算法，对案件的事实要素、法律条文和历史判例进行结构化建模，辅助法官完成证据审查、量刑参考和文书生成的技术方案。