昇腾加持TransMLA架构：免重训破解大模型适配壁垒

MLA（Multi-head Latent Attention，多头发潜注意力）架构凭借其低秩压缩的KV缓存设计，在实现长上下文推理时，有效优化了显存占用与带宽效率。这一设计的高效性已在DeepSeek-V2等模型中得到了验证。然而，当前主流的预训练模型如LLaMA、Qwen等大多基于GQA架构构建，业界已投入大量工程优化成本。若想复用MLA架构往往需要重新训练，成本极高。为此，在北京大学与鹏城实验室科教创新卓越中心的算力支持下，北京大学人工智能研究院助理教授张牧涵团队提出了TransMLA转化框架，实现了无需重训即可将主流模型向MLA架构迁移的目标。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

TransMLA精准针对从GQA向MLA迁移的核心痛点，通过四大技术模块的创新实现了精准破局：其一，是GQA→MLA结构映射，解决了分组KV头与MLA单头潜在表示不兼容的问题。通过特定的线性变换，将GQA分组后的K、V向量投影/融合为单一的低秩潜在表示，并配备上投影矩阵以确保KV信息精准恢复，为架构迁移筑牢了基础。其二，是RoRoPE技术方案，通过创新性的适配设计，让位置编码能顺畅融入低秩压缩流程，解决了直接对RoPE应用PCA等通用降维方法可能导致的位置信息损失或模型性能下降问题。其三，是通过对RoPE中相邻频率的旋转维度进行折叠与融合，在降低参数量的同时，更高效地集中和保留关键的位置信息，从而维持模型在长序列下的语义理解能力。其四，是通过平衡Key和Value矩阵在压缩前的范数分布，提升联合压缩的数值稳定性，有效减少信息损失。

在技术落地过程中，升腾计算平台发挥了关键支撑作用。其高效并行计算架构满足了结构映射模块的多任务协同处理需求，保障了架构迁移的效率；其优化的存储与缓存体系，为FreqFold的频率信息处理、BKV-PCA的范数平衡提供了稳定的硬件基础，有效提升了KV压缩的稳定性与资源利用效率，助力TransMLA核心技术平稳落地。

实验结果显示，TransMLA的转换过程性能优势显著。在裁剪LLaMA-2-7B模型68.75%的KV缓存后，无需额外训练，核心性能仅轻微损失。在32K序列长度、FP16精度下，基于升腾平台的推理速度相较于业界主流GPU平台有显著提升。依托开放的生态资源，升腾已推动TransMLA稳定支持主流模型部署，并将集成至vLLM/SGLang等高性能推理框架生态，便于用户直接部署，大幅降低企业落地适配成本。

TransMLA与升腾的协同创新，打通了主流模型与MLA架构间的鸿沟，充分发挥了升腾生态优势。升腾全链路支持实现了TransMLA“零重训、低损失”的目标，保留了模型参数优势，降低了企业基于升腾平台进行技术升级的门槛。这一软硬件协同典范，为长上下文推理提供了来自升腾生态的解决方案，推动自主计算与前沿AI融合，彰显升腾核心引领作用，为大规模模型产业依托自主硬件实现降本增效提供了可行路径。