ViT³测试时训练突破复杂度瓶颈入选CVPR 2026最佳论文

CVPR 2026 刚刚在美国丹佛圆满落幕。本届大会共收到 16092 篇投稿，仅有 15 篇论文入围最佳论文决选，入选率不足千分之一。其中一篇来自阿里巴巴与清华大学的合作成果——ViT³: Unlocking Test-Time Training in Vision。

该研究直击当前视觉模型领域最普遍的核心痛点：随着图像分辨率持续攀升、视频时长不断延长、多模态输入日益复杂，Transformer 逐渐面临计算瓶颈。ViT³ 提供了一条截然不同的解决路径。

在 RTX 3090 上处理 1248×1248 分辨率图像时，ViT³-T 的推理速度达到 DeiT-T 的 4.6 倍，GPU 显存占用降低了 90.3%。换言之，它仅用接近十分之一的显存，便实现了更高的处理效率。

不过，这篇论文的意义远不止于提速。它真正试图改变的，是视觉模型存储与调用上下文信息的方式：不再仅靠固定公式压缩信息，而是在处理当前输入时，通过一次快速的在线学习，将上下文写入一个紧凑的内部模型。这一路线建立在近年来受到关注的 Test-Time Training（TTT，测试时训练）框架之上，而 ViT³ 则进一步将其系统性地引入视觉领域，并总结出一套可复用的设计原则。

论文地址：https://arxiv.org/pdf/2512.01643
代码：https://github.com/LeapLabTHU/ViTTT

阿里巴巴长期深耕多模态大模型与新一代交互体验。随着 AI 逐步融入真实生活场景，模型需要处理的视觉信息正变得越来越复杂：更高清的图片、更长的视频，以及持续增长的多模态上下文。在控制算力成本的同时，让模型看得更清晰、理解得更完整，已成为多模态技术走向实际应用的关键课题。ViT³ 所探索的，正是这一底层能力的突破。

把上下文压缩，变成一次临场学习

要理解 ViT³ 的价值，需要先回到视觉模型长期面临的矛盾：如何在降低计算复杂度的同时，尽可能保留上下文建模能力。

Vision Transformer 自 2020 年被提出后，迅速成为计算机视觉领域最重要的主流架构之一，持续推动图像分类、目标检测、语义分割和图像生成等任务的发展。但标准 Softmax Attention 存在一项随序列长度快速膨胀的代价。一张图片进入视觉 Transformer 后，通常会被拆分为一组 token。图片分辨率越高，token 数量就越多。标准 Attention 需要显式计算不同 token 之间的两两关系，其计算与显存成本随 token 数量呈二次增长。

为便于理解，省略缩放系数后，标准 Attention 可简写为：Softmax(QKᵀ)V。其中 Q 代表 query，K 代表 key，V 代表 value。带来高成本的正是 QKᵀ 形成的 N×N 矩阵。当模型处理普通分辨率图片时，这笔成本尚且可控。但一旦面对超高清图片、长视频或复杂多模态输入，token 序列长度迅速增加，计算与显存开销便会逐渐逼近成本边界。

为降低成本，过去几年涌现了多种线性复杂度方案。

Linear Attention的思路，是改变计算顺序：将关键计算从 Softmax(QKᵀ)V 改写为 Q(KᵀV)，先把 K 和 V 压缩成一个固定大小的状态，再让 Q 从中读取信息。由于 KᵀV 的大小与序列长度 N 无关，复杂度可降至 O(N)。但代价也很明显：上下文被压缩进一个相对简单的线性状态。压缩效率虽高，表达能力却可能不足，实际性能往往与标准 Transformer 存在差距。

Mamba 与状态空间模型走了另一条路。它们维护一个固定大小的隐状态，并沿着序列逐步更新。相比简单的线性映射，这种状态更新机制更灵活，但仍然需要回答同一个问题：当序列越来越长、全局依赖越来越复杂时，如何把足够丰富的信息写入一个容量有限的状态？

用一个类比来说：标准 Attention 是“保留全部资料，需要时重新检索”，代价是资料越多，检索成本越高；Linear Attention 是“提前压缩成一份固定摘要”，速度更快，但容易遗漏细节；Mamba 则像是“一边阅读，一边持续更新一份有限长度的笔记”。这些方案背后长期存在一组 trade-off：压缩越激进，计算越便宜；但压缩方式越简单，模型越容易损失表达能力。

Test-Time Training 试图打破这组 trade-off。它不再将上下文压缩视为一次固定的矩阵运算，而是将其改写为一次快速的在线学习过程。

TTT Block 保留了 Transformer 的宏观结构。不同之处在于，原本的 Attention 计算被替换为一次可学习的上下文压缩与读取过程。

具体而言，TTT 将当前输入中的 key-value 对视为一个临时的“迷你数据集”。模型在推理过程中，对一个小型内部网络进行短暂的自监督训练，使其学习从 K 预测 V。随后，再使用更新后的内部网络处理 query。换句话说，模型面对每一组新的输入时，都会进行一次轻量级的临场适配。这也是“Test-Time Training”名称的由来：在测试阶段，模型会针对当前输入，短暂训练一个内部模型，再利用它完成信息读取。整个内部训练过程仍然是可微的，并与外部网络一起端到端优化，无需拆分为多个独立阶段。

线性注意力使用固定矩阵乘法压缩上下文；TTT 则使用梯度下降压缩上下文。前者是固定的线性操作，后者是一种学习驱动的非线性压缩方式。只要内部模型的规模保持固定，整体复杂度仍然可以维持在线性水平，但信息压缩能力有机会进一步提高。

论文中有一张关键示意图，展示了 Softmax Attention、Linear Attention 和 TTT 之间的关系。Softmax Attention 可被理解为一个宽度随序列长度增长的内部模型；Linear Attention 对应一个固定大小的线性内部模型；TTT 则进一步允许内部模型成为可训练的小型网络。ViT³ 并非完全抛开 Attention 另起炉灶，而是在同一个框架中打开了更大的设计空间。

Softmax Attention、Linear Attention 与 TTT 的统一视角。Softmax Attention 保留完整上下文，Linear Attention 将上下文压缩为固定大小的线性状态；TTT 则通过在线训练，将上下文写入一个可更新的内部模型。

在空白的设计空间里画出地图

设计空间更大，意味着选择更多，也意味着更容易走错路。在 ViT³ 之前，TTT 已在语言模型中获得关注，但视觉数据与语言数据并不相同。语言天然具有顺序和因果结构。图像则是二维空间信息，不同 token 之间不存在同样明确的先后关系。当 TTT 进入视觉领域后，一系列基础问题都需要重新回答：内部模型应该使用什么架构？损失函数如何选择？应该更新多少轮？学习率应多大？卷积和 MLP 哪一种更适合视觉任务？

ViT³ 的重要贡献之一，是通过系统实验梳理视觉 TTT 的设计空间，总结出六条可以复用的实践原则，并讨论了 TTT 当前存在的核心挑战和未来研究方向。

观察一：内部训练损失函数的混合二阶导数不能为零。

TTT 的内部训练过程需与外部网络一起端到端优化，这意味着梯度要穿过内部训练步骤回传到外部参数。如果损失函数的混合二阶导数为零，外部参数的梯度信号就会在回传中消失。MAE（L1）损失的导数是符号函数，混合二阶导几乎处处为零——实验中它比 MSE 损失低了 2.4 个百分点。这不是一个可通过调参弥补的小问题，它决定了某些损失函数从根本上不适用于 TTT。

观察二：视觉任务适合全批次、单轮训练。

此前 NLP 领域的 TTT 实践发现，小批量顺序更新通常更有效。但在视觉任务中，全批次更新表现更好。论文给出了一个有说服力的解释：小批量顺序更新会引入因果偏置——前面的 batch 影响后面的梯度，后面的更新也可能覆盖前面的信息。这种偏置适合具有方向性的语言数据，但对非因果的视觉数据反而是一种负担。综合准确率、吞吐和训练稳定性，ViT³ 最终采用单轮全批次更新。

观察三：在稳定的前提下，更大的内部学习率效果更好。

实验表明，在训练稳定的前提下，越大的学习率效果越好。太小的学习率会让内部模型更新不充分，无法有效存储上下文信息；过大的学习率则容易导致训练不稳定。值得注意的是，在一些特殊情况下，内部学习率可以被吸收为 K 和 V 的放缩。但这并不说明内部学习率的设置不重要。一个类似的例子是 Softmax 注意力中的 √d 放缩，它也能被 Q 和 K 吸收，但依然重要。

观察四：增加内部模型容量，性能持续提升。

一个关键问题是：TTT 能否通过简单扩大内部模型来提升序列建模能力？为探索这一点，论文将 TTT 内部模型实现为一个 SiLU 激活函数的两层 MLP，并逐渐增加其宽度。实验表明，当隐藏维度 d 扩到 4d，准确率从 78.9% 提升到 79.6%，没有出现饱和迹象。这是 TTT 范式的一个核心优势：它可以在外部模型尺寸固定的条件下，通过简单扩展内部模型尺寸来实现更好的序列建模效果。这与 Linear Attention 形成鲜明对比——后者通常将上下文压缩进固定大小的线性状态，表达能力和扩展空间相对有限。

随着内部模型宽度增加，TTT 的性能持续提升，说明内部模型容量仍有进一步扩展空间。

观察五：当前更深的内部模型存在优化困难，需要未来工作解锁其理论潜力。

一个不符合预期的结果是：把内部模型从一层变成两层、三层，参数更多、理论容量更大，但实际准确率反而下降。论文的分析指向优化困难：更深的内部模型在 TTT 的短训练步数下容易欠拟合——训练损失更高，测试准确率更低。当前深层网络的理论优势在 TTT 的快速训练场景中难以兑现。论文同时发现，如果把输出层固定为单位矩阵（一种“约束设计”），准确率反而比完整的两层 MLP 更高。这进一步证实了优化瓶颈的存在。解决较深内部模型的优化问题，是 TTT 的一个重要未来方向。理论工作表明，神经网络的拟合能力随深度指数增长，这正是当前神经网络成功的核心原因。因此，较深的内部模型在实现高精度测试时训练序列建模中具有突出潜力。

增加内部模型深度，并没有带来更高的准确率。随着层数增加，训练损失反而更高，说明视觉 TTT 当前仍面临内部模型优化瓶颈。

观察六：卷积天然适合做视觉 TTT 的内部模型。

随着 Transformer 兴起，卷积不再是视觉模型中唯一占据主导地位的结构。但在 TTT 框架中，它获得了一个新的角色。TTT 把全局上下文压缩进内部模型的权重，当内部模型是卷积时，这些权重就是卷积核——全局信息被编码在核的参数里，而卷积操作本身又提供了局部感受野。一次前向推理同时完成了全局和局部信息的整合。实验中，一个轻量级 3×3 深度卷积在参数量更少的情况下，比 MLP baseline 高出 1.2 个百分点。

这六条原则并非相互独立的经验。观察一排除了一类不适用于 TTT 的损失函数；观察二和观察三回答“应该怎么训练”；观察四、观察五和观察六则回答“内部模型应该如何设计”。它们共同构成了一份视觉 TTT 的实践地图：哪些方向值得未来工作继续探索，哪些路径容易陷入优化瓶颈，哪些设计能够在效果和效率之间取得更好的平衡。

从分类到生成，ViT³ 的优势在高分辨率下放大

基于前面的六条观察，研究团队最终搭建出 Vision Test-Time Training 模型，简称 ViT³。它的整体设计并不复杂。在多数 Attention head 中，ViT³ 使用一种简化的门控内部模型，在保持易于优化的同时，提供比纯线性状态更强的表达能力。另有一个 head 引入轻量级的 3×3 深度卷积，使模型在压缩全局上下文的同时，也能够利用图像中的局部空间结构。内部训练同样保持克制：每次只进行一轮全批次梯度更新。换句话说，ViT³ 没有在推理过程中嵌入一套繁重的训练流程，而是在控制额外成本的前提下，让内部模型完成一次快速适配。

围绕这一模块，论文构建了三类模型：ViT³ 采用非层级架构，对齐经典 Vision Transformer；H-ViT³ 使用四阶段层级设计，更适合作为通用视觉骨干网络；DiT³ 则将同样的 TTT 模块放入扩散模型，用于图像生成。这组设计的目标，不是针对某一个 benchmark 调整出更高的数字，而是验证一个更关键的问题：TTT 能否成为一种可迁移的视觉序列建模模块？

从实验结果看，答案是积极的。在图像分类任务中，ViT³ 展现出有竞争力的视觉表征能力。在目标检测和语义分割等需要处理更高分辨率输入的任务中，它也能超过多种同级别的 Mamba 和 Linear Attention 模型。这说明，相比将上下文压缩进一个简单线性状态，ViT³ 使用更灵活的内部模型保存信息，能够在控制计算成本的同时，维持较强的建模能力。

ViT³ 的适用范围也没有停留在识别任务。研究团队进一步将 TTT 模块放入扩散模型，构建出 DiT³。实验显示，在不同模型规模和 patch 配置下，DiT³ 均能改善原始 DiT 的图像生成质量。这意味着，TTT 可以作为一个相对独立的模块，进入不同类型的视觉架构。

但 ViT³ 最直观的优势，仍然来自高分辨率图像。在 RTX 3090 上处理 1248×1248 图像时，单张图片包含 6084 个 token。此时，ViT³-T 的推理速度达到 DeiT-T 的 4.6 倍，GPU 显存消耗降低了 90.3%。

原因并不复杂。在低分辨率输入下，序列较短，标准 Attention 的成本仍然可以承受。随着分辨率提高，token 数量快速增加，标准 Softmax Attention 的计算与显存开销随序列长度呈二次增长；ViT³ 则保持线性复杂度。两条曲线之间的差距，会随着输入规模扩大持续拉开。

对于面向真实生活场景的多模态应用而言，这一点尤其重要。当模型开始接收更高清的图片、更长的视频和更复杂的视觉上下文时，序列长度会快速增加。单纯依赖算力堆叠，很难无限持续。这也与阿里巴巴长期关注的方向形成呼应。未来的多模态交互，不只是让模型识别一张图片，而是需要它在真实环境中持续处理更加复杂的视觉信息。无论是更自然的人机交互，还是面向生活场景的 AI 原生应用，都需要一个更具扩展性的视觉底座。

ViT³ 所验证的，是另一种可能性：通过架构创新提高上下文压缩质量，在不放弃线性复杂度优势的前提下，尽量缩小与标准 Transformer 之间的性能差距。但 ViT³ 还不是对 Transformer 的全面替代。论文给出的定位相对克制：作为一套视觉 TTT baseline，它已经超过多种线性复杂度模型，并显著缩小了与主流视觉 Transformer 的性能差距，但仍存在进一步提升空间。另一方面，4.6 倍速度提升和 90.3% 显存节省来自 RTX 3090 上的实验结果，证明了算法层面的扩展优势，但还不能直接等同于手机、车端等边缘设备上的实际部署效果。更准确地说，ViT³ 为端侧部署和高分辨率多模态应用打开了新的可能性，也为后续工程优化提供了基础。

算力与性能，不必互斥

过去几年，视觉模型领域逐渐形成了一种默认路径：更好的性能，往往意味着更大的模型、更多的训练数据和更高的算力成本。线性复杂度模型虽然更加高效，但通常需要付出性能代价。ViT³ 试图重新检验这一前提。它系统梳理了视觉 TTT 的设计空间，证明学习驱动的上下文压缩可以覆盖分类、检测、分割和生成任务，并在高分辨率场景下展现出更加明显的效率优势。

这也是阿里巴巴持续探索的方向。当多模态模型持续走向高清视觉、长上下文和复杂交互，行业需要回答一个更长期的问题：能力增长是否只能依赖更多算力？ViT³ 给出了另一种可能：答案也许不在更大的模型里，而在更聪明的架构里。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：ViT³测试时训练突破复杂度瓶颈入选CVPR 2026最佳论文要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题