Tensor Parallelism - 张量并行
张量并行是将单个张量（如矩阵乘法）的运算切分到多个设备上同时计算的策略，用于加速超大模型的训练和推理，是GPT-4等大模型背后的关键并行技术。
一句话解释
张量并行（Tensor Parallelism）是一种将神经网络中某一层的权重矩阵或中间激活张量切割成多个分片，分别放在不同GPU上同时计算，最后再合并结果的并行策略。
为什么会被关注
随着GPT-3、Llama等大模型参数突破百亿甚至千亿，单张GPU已无法承载完整的模型权重。张量并行能在不增加显存总量需求的前提下，将计算负载均匀分到多张卡上，大幅降低单卡显存压力。
同时，它与其他并行技术（数据并行、流水线并行）互补，成为构建万卡集群训练系统的关键组件。业界主流框架如Megatron-LM、DeepSpeed和PyTorch FSDP都内置了张量并行支持。
核心逻辑
核心思路是将矩阵乘法（如注意力机制中的QKV运算）按行或按列切分。例如，在Transformer的前馈网络层中，将权重矩阵W切分为两个子矩阵W1和W2，分别放在两张GPU上计算，每张卡只负责一半输出维度的计算。
计算过程中需要引入通信操作：前向传播时对部分结果进行求和（All-Reduce），反向传播时同步梯度。这种“计算-通信-计算”的流水线设计使得整体吞吐量近似线性扩展，但通信开销会随切分数量增加而上升。
常见场景
大语言模型（LLM）预训练：当模型参数量超过单卡显存（如A100 80GB）时，必须使用张量并行把每一层的参数分布到8张甚至更多卡上。典型配置是单节点内用NVLink高速互联的GPU组内做张量并行。
大模型推理服务：即使模型已经训练完成，推理时单卡也可能放不下完整参数。张量并行可将模型拆分到多卡上并行生成token，降低首token延迟。许多云推理服务（如vLLM、TensorRT-LLM）都集成了该策略。
容易混淆的点
张量并行常与模型并行（Model Parallelism）混用。严格来说，模型并行是广义概念，包括层间并行（流水线并行）和层内并行（张量并行）。张量并行特指对单个张量运算的切分，而非将不同层分配到不同设备。
另一个易混淆点是数据并行（Data Parallelism）。数据并行是复制完整模型到多卡，每卡处理不同batch；而张量并行是分割模型本身。两者可叠加使用：数据并行处理batch维度，张量并行处理模型内部维度。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词法院AI应用是指人工智能技术在司法领域的落地实践，包括智能辅助办案、类案自动推送、裁判文书生成、庭审语音识别等，旨在提升审判效率与公平性，减轻法官事务性负担。
法院AI部署是指将语音识别、文书生成、类案推送等人工智能技术集成到法院办案流程中，旨在提升审判效率、降低人为差错，并推动司法透明化。近年来，各地智慧法院试点加速，AI从辅助工具逐渐嵌入核心业务环节。
法院AI训练指利用裁判文书、法律法规等数据，训练机器学习模型以辅助司法工作，如案件分类、证据分析、量刑建议等。它并非替代法官，而是通过技术手段提升效率与一致性，正成为智慧法院建设的核心环节。
法院AI仿真利用人工智能技术对法庭场景、审判程序、辩论逻辑进行数字化模拟，用于法律教学、案件预演、证据推演等场景，帮助法官、律师和法学院学生更直观地理解司法过程。
法院AI建模是指运用人工智能技术，尤其是大语言模型和机器学习算法，对案件的事实要素、法律条文和历史判例进行结构化建模，辅助法官完成证据审查、量刑参考和文书生成的技术方案。