清华开源空间模型入选ECCV2026超越Gemini实现持续学习

空间理解，绝不仅仅是“看一眼图像”就能完成的任务。在机器人、自动驾驶、增强现实等真实场景中，相机持续移动，视角不断变化，目标时隐时现——空间信息并非清晰集中地呈现，而是散落在漫长的视频流中。模型不仅要“看得见”，更要“记得住、连得起来，并持续更新”。这正是流式空间智能成为多模态大模型迈向真实世界应用的关键门槛。

这项研究的出发點很清晰：多模态Agent该如何在动态变化的世界中不断更新自身认知，而不是每次启动都如同初见世界？真实世界既非静态图片，也非固定时长的视频片段，而是一段持续展开的经验流。人类理解空间，也不是一次性扫视完整个房间，而是在移动、观察、遗忘、修正中，逐步形成稳定的空间记忆。

近日，由清华大学博士生刘芳甫一作，联合多位研究者完成的Spatial-TTT，被计算机视觉顶级会议ECCV 2026正式接收。

ECCV与CVPR、ICCV并称为计算机视觉三大顶级会议，每两年举办一届，录用率常年偏低。入选ECCV，不仅仅是获得一个会议标签，更意味着在研究问题、方法创新与实验完整性方面通过了严格的同行评审。

Spatial-TTT瞄准的，正是多模态模型从“看懂画面”迈向“理解真实空间”过程中一个尚未解决的核心问题：

当视频不断延长，模型能否不依赖无限膨胀的上下文，而是在观看过程中持续形成并更新自己的空间记忆？

实验中，仅有2B参数的Spatial-TTT，在论文测试的多项专项空间智能基准上，超越了GPT-5、Gemini-3-pro等闭源模型，并且能够处理最长120分钟的流式视频。它给出的答案可以概括为一句话：让模型不只是被动观看视频，而是在观看过程中边看、边更新、边“生长”出一份空间记忆。

能看长视频，不等于能记住和理解空间

空间智能的难点，从来不仅仅是“把上下文做长”，而是空间信息该如何在时间维度上被选择、组织并保留下来。

真实场景中，模型面对的是持续涌入的视觉流：相机移动改变视角，遮挡打断观察，物体的显隐使得关键证据散落在相距很远的时刻。现有方法尝试过引入深度信息、多视角输入、空间专项微调数据，甚至训练专用空间模型，但大多局限于单张图像或短视频片段，很难扩展到几十分钟、几小时的流式视频处理。

进一步看，核心问题并不是模型“窗口不够长”，而是它缺少一种机制——在推理过程中不断把新观察吸收进内部状态，再将这些状态组织成可供后续调用的空间记忆。传统的静态推理范式很难解决这一点，而TTT恰好提供了另一种可能：让模型在推理时边看边更新参数，用参数本身的变化来承担记忆功能。

Spatial-TTT：把模型参数变成动态记忆

为应对上述挑战，研究团队提出Spatial-TTT，将快速权重（fast weights）作为一种紧凑的非线性记忆，在处理视频流的同时进行在线更新，不断累积跨时间的3D空间证据。与把整段视频一次性塞入上下文不同，Spatial-TTT更像是持续“维护一份空间状态”：每当新的视频块（chunk）到来，模型就对已有的空间记忆做一次增量式刷新。

TTT概念并不新，难的是让它真正理解空间

TTT此前已被用于语言建模、新视角合成和视频生成，但流式视觉空间理解有其特殊性：模型既要保留预训练阶段的视觉—语言能力，又要显式利用视频token的局部几何与时间连续性，还需要足够密集的监督信号，教会快速权重哪些空间信息值得长期保留。围绕这三个问题，Spatial-TTT分别设计了混合架构、空间预测机制和密集场景描述监督。

设计一：混合式TTT架构，兼顾预训练知识和长视频处理

直接把所有注意力层替换成TTT层，理论上效率更高，但会破坏原始多模态模型的跨模态对齐与语义能力——相当于在获得长程记忆的同时，丢失了模型原本的语义理解能力。为此，研究团队设计了混合式TTT架构：

• 在解码器中按3:1比例交错插入TTT层与标准self-attention锚定层（anchor layers），其中75%的层采用TTT，负责将长程信息写入快速权重；
• 25%的层保留标准全注意力，作为锚定层，维持预训练模型已有的语义理解和跨模态推理能力。

也就是说，Spatial-TTT并非用TTT取代注意力，而是让两者各司其职：TTT负责记得更久，全注意力负责理解得更准。

同时，为提升大块视觉token的处理效率，模型引入了large-chunk更新，并搭配并行的滑动窗口注意力（sliding-window attention）——前者大幅提升GPU利用率，避免传统TTT小块频繁更新导致的效率低下及强行切断帧内空间结构的问题；后者则保证chunk内部仍具有完整的因果局部交互，避免空间连续性被更新边界打断。两者分工明确：滑动窗口负责处理近期帧和局部结构，快速权重负责跨块保存更长期的信息。这一设计让模型在长视频场景下既具备线性复杂度带来的可扩展性，又不会牺牲局部时空建模能力。

设计二：空间预测机制，让在线记忆真正“懂空间”

仅仅把TTT搬到视频中还不够。研究团队观察到，传统TTT中Q/K/V通常通过逐点线性投影生成，这意味着每个视觉token在进入快速权重之前，主要被当成孤立单元处理——这种方式忽略了视觉token之间天然存在的局部几何结构和时间连续性，不利于空间状态的稳定更新。但视觉空间信息天然存在于局部关系中，如果忽略这种局部连续性，快速权重就需要从零开始推断几何关系，记忆也更容易碎片化。

为此，Spatial-TTT在TTT分支中引入了空间预测机制（spatial-predictive mechanism），对Q/K/V加入轻量级3D时空卷积。经过这一处理，快速权重学到的就不再是孤立token之间的映射，而是时空上下文到时空上下文的预测关系，从而能更好地捕捉几何对应、视角变化与时间连续性，显著增强在线更新的稳定性和有效性。

设计三：稠密场景描述监督，模型从“会答题”走向“维护全局3D记忆”

现有空间智能数据大多是稀疏、局部的Q&A监督，例如判断两个物体的相对关系，或者回答一个整数计数问题——这类短答案只能覆盖场景状态中的极小部分，对快速权重学习长期有效的更新动态帮助有限。问题在于，快速权重需要学习的是如何持续维护整个场景，而不仅仅是提取某个局部答案。如果训练中只问桌子和椅子的关系，模型就没有动力记住房间里其他物体，也没有动力形成完整的空间布局。

因此，研究团队构建了一份稠密的3D场景描述数据。这份数据要求模型生成覆盖场景全局语境、物体类别与数量、空间关系等内容的场景漫游描述（scene walkthrough），用更高覆盖率的监督信号来训练快速权重。训练采用两阶段空间感知渐进式训练（spatial-aware progressive training）方式：第一阶段，模型先在密集场景描述上学习如何“记住整个空间”，形成全局3D意识；第二阶段，再用数百万条spatial VQA数据，进一步强化方向判断、距离估计、计数、房间大小估计和路线规划等流式空间推理能力。

实验结果：不仅更会“想空间”，也更能“撑长视频”

实验结果显示，Spatial-TTT在多个空间智能基准上都取得了非常优异的表现。

在VSI-Bench上，作为一个2B规模模型，Spatial-TTT-2B取得了64.4的平均分，超过多种闭源与开源基线；其中在绝对距离（Absolute Distance）、相对方向（Relative Direction）、路线规划（Route Plan）、出现顺序（Appearance Order）等任务上表现尤为突出，说明它在度量级空间估计、方向判断与路径规划等任务上具备更强能力。

在更考验多视角细粒度空间推理的MindCube-Tiny上，Spatial-TTT拿下76.2%的准确率，比最强闭源基线Gemini-3-pro（63.9%）高出12个百分点，比代表性开源空间模型MindCube-3B（51.7%）高出近25个百分点。这有力证明了Spatial-TTT在视角变化与遮挡条件下展现出更稳健的空间推理能力。

在考验“长期记忆”的VSI-SUPER系列任务上，Spatial-TTT的优势进一步放大。对于需要长时间累计证据的VSI-SUPER-Count，Spatial-TTT在10、30、60、120分钟视频上的得分，分别达到31.8、45.6、36.2、38.4；相比之下，一些通用多模态模型和空间模型在更长视频上要么性能快速崩塌，要么直接OOM。而之所以能在更长时程下保持稳定，正是因为Spatial-TTT通过在线更新逐步整合新观察，而不是被动依赖一次性长上下文处理。

深度分析：Spatial-TTT的提升究竟来自哪里？

消融实验表明，Spatial-TTT的性能提升并非单一技巧所致，而是三个设计协同发力的结果：

• 去掉空间预测机制，VSI-Bench平均分从64.4降到62.1；
• 去掉密集场景描述监督，降到61.3；
• 如果完全去掉混合架构、只用纯TTT结构，平均分直接掉到53.9。

这说明架构设计、时空归纳偏置与监督信号之间存在显著的协同效应。

效率分析同样值得关注。在1024帧输入设置下，Spatial-TTT-2B的峰值显存占用为11.9GB，理论计算量为799.4 TFLOPs；相比之下，行业领先的大厂模型分别为21.2GB和1403.1 TFLOPs——也就是说，Spatial-TTT在长上下文下实现了超过40%的显存与计算节省。此外，带显式几何编码器的Spatial-MLLM-4B在512帧和1024帧场景下已无法运行。

总结与展望：从“保存更多内容”，走向“形成持续的世界状态”

Spatial-TTT最值得关注的，不只是一个2B模型在多个空间智能基准上的领先成绩，它还提供了一种重新理解长视频记忆问题的方式。传统长上下文方案试图保留更多历史内容，Spatial-TTT则进一步追问：

模型能否将持续到来的视觉观察，转化为一份能够不断更新、修正和调用的内部空间状态？

它不需要永久保存每一帧画面，却需要知道自己经过了哪里、看到了什么，以及空间关系如何随着新的观察发生变化。这对于真正进入物理世界的Agent尤其重要。机器人不会只进入一次房间，自动驾驶系统不会只经过一次路口，AR设备也不会只观察几秒钟的环境。它们需要在长期运行中积累空间经验，让此前的观察真正影响之后的感知与决策，而不是在每一次任务开始时重新理解周围世界。

对于这些需要长期连续运行的物理Agent系统而言，这项入选ECCV 2026的工作所提供的，或许不只是一个表现更强的空间智能模型，更是一条从流式视觉感知走向持续世界状态建模的路径。更关键的变化在于，过去的观察开始参与下一次判断与行动。当空间信息能够被持续积累、修正和调用，Agent面对的就不再是一帧帧彼此割裂的画面，而是一个具有连续性、能够被理解并进一步作用于其中的世界。

论文链接：https://arxiv.org/pdf/2603.12255
项目主页：https://liuff19.github.io/Spatial-TTT/
GitHub：https://github.com/THU-SI/Spatial-TTT/

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：清华开源空间模型入选ECCV2026超越Gemini实现持续学习要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题