ATHENA将影响函数扩展至十亿参数VLA 313倍加速数据筛选

来自上海交通大学、同济大学、上海创智学院等机构的联合研究团队，长期深耕于具身智能的世界模型构建、数据管理与因果推理前沿领域。他们近期的研究成果，将目光聚焦于一个看似基础但日益严峻的核心问题——如何有效量化机器人数据的内在价值。

具身智能正大步迈入数据规模化驱动的时代。Vision-Language-Action（VLA）模型使机器人能够从海量示范数据中学习通用操作策略。然而，随之而来的矛盾日益凸显：数据量是否真的越大越好？低质量的数据反而可能拖累模型性能，而每一条示教轨迹的背后，都伴随着高昂的人力采集成本、昂贵的机器人运行时间，以及云端存储和训练所需的巨大算力开销。

因此，一个不可回避的核心问题浮出水面：云端数据池中的每一条机器人示教轨迹，究竟价值几何？或者说，应当如何量化它对最终任务成功的实际贡献？

为解答这一难题，来自上海交通大学、同济大学、上海创智学院及西安交通大学等机构的科研团队，正式提出了 ATHENA——一个专为十亿参数级多任务 VLA 模型设计的数据筛选框架。其核心思路是，将过去主要应用于小模型、单任务场景的影响函数（Influence Functions），扩展至十亿参数级的多任务机器人 VLA 微调过程中，从因果层面精准估计每条演示轨迹对下游任务成功率的实际影响，并据此影响分数进行数据筛选。

论文标题：ATHENA: Accelerated Multi-Task Heterogeneous Influence Functions for Robot Data Curation
论文地址：https://arxiv.org/abs/2606.16208
项目主页：https://sii-quantum.github.io/ATHENA.github.io/

为何需要量化机器人数据价值？

以往，机器人数据管理多依赖人工经验，或诸如轨迹长度、动作平滑度等启发式规则。但这些方法在很大程度上仅衡量了“数据的表象”——人类认为的优质样本，与下游闭环任务的实际表现之间，往往缺乏直接的因果联系。

影响函数则提供了一条更为原则化的路径：它试图以低成本估算，在加入或移除某个训练样本后，模型在闭环任务上的性能将发生何种变化。换言之，它能以一种因果化的方式回答那个关键问题：“如果保留或舍弃这条演示轨迹，机器人最终的表现是会更好还是更差？”

然而，传统影响函数主要针对小参数模型和单任务设计，难以直接应用于十亿参数级的多任务机器人 VLA。一方面，逐样本梯度计算需要在巨大的参数空间中进行投影，对于十亿参数规模的模型，显存与时间开销均无法承受。另一方面，在多任务场景下，若仅进行全局排序，梯度信号较强的任务会主导筛选结果，导致其他任务的数据被过度舍弃。因此，ATHENA 必须同步解决两大挑战：算得动，以及选得准。

ATHENA：将影响函数推进至十亿参数级多任务 VLA

整体流程可以概括如下：首先，使用全部演示数据对 VLA 模型进行微调；随后执行评测，收集模型的闭环评估轨迹（rollouts）；接着，计算每条训练演示对评测 rollouts 的因果影响；然后，依据影响分数进行排序筛选；最后，使用筛选出的数据重新联合微调模型。

具体而言，ATHENA 实现了两项关键技术。

第一，利用 Kronecker 结构压缩逐样本梯度，并通过随机截断加速稠密 Hessian 逆的近似计算。 线性层权重梯度天然具有外积结构，ATHENA 不再显式构造完整的参数梯度，而是分别对输入激活和反向误差进行投影，再组合成低维特征。同时，通过随机截断近似保留主要的低秩子空间，大幅降低了复杂的 Hessian 求逆计算量——这一创新使得十亿级别 VLA 模型上的影响分数计算变得切实可行。

第二，提出 Multitask Influence Interaction（MII）方案，以规避多任务失衡问题。 该方法分别估算每条演示对自身任务下游性能的局部影响（local-task influence），以及对其他任务下游性能的跨任务影响（cross-task influence），并将两类影响综合进行排序。如此，便避免了全局多任务排序时偏向强梯度任务的问题，筛选结果既能保留任务内的关键样本，也能兼顾跨任务的全局交互影响。

计算效率：从 8054.6 到 25.7 GPU 小时

影响函数此前难以应用于具身 VLA 的核心原因之一，便是其高昂的计算成本。ATHENA 在此方面取得了极其显著的系统性收益。

在涵盖 50 个任务、约 56 万时间步的设置下，未加速的投影影响函数流程需要约 8054.6 GPU 小时。而 ATHENA 将总耗时降低至 25.7 GPU 小时——实现了约 313.4 倍的加速效果。这一突破使得影响函数真正具备了服务于十亿参数级多任务 VLA 数据管理的能力。

实验结果：数据更少，性能反而更强

研究团队使用 JAX 版本的 pi 系列 VLA 模型进行实验。首先，在 RoboTwin 2.0 仿真基准上，依据最新设置，包含 50 个任务和 2500 条 clean 配置下的演示，总计 9.34 小时、约 56 万个时间步，并考察了 clean 和 randomized 两种评测环境。

结果显示：在保留 90% 演示的情况下，ATHENA 在 clean/randomized 环境下 50 个任务的平均成功率分别达到 44.70% / 17.72%，高于全量数据微调的 43.42% / 15.44%。当仅保留 50% 演示时，ATHENA 在 clean 环境中基本匹配全量训练效果，在 randomized 环境中甚至超越了全量训练，平均成功率达到 30.33%，高于全量训练的 29.43%。

在真实机器人实验中，他们基于 ALOHA 平台设计了 6 个任务：简单任务（Pick Fruits、Wipe Board），中等任务（Stack Bowls、Box Return），以及困难任务（Seal Stamping、Shelf Retrieval）。数据集包含 720 条高质量演示，总计 6.9 小时，每个任务进行 25 次随机物体位置测试。

单任务单独训练的 Single-100% 平均成功率为 46.7%，全量数据联合训练的 Joint-100% 则提升至 60.0%。而 ATHENA 仅使用 66.7% 的数据便达到了 68.0% 的平均成功率，不仅超越了两种全量数据方案，也明显优于 Random-66.7% 和基于人工先验偏好的 Oracle-66.7%。这一结果表明，人类直觉中“看起来更优质”的数据，并不必然等同于对下游闭环策略更有利。

可视化展示

Pick Fruits

Wipe Board

Stack Bowls

Box Return

Seal Stamping

Shelf Retrieval

总结

ATHENA 成功回应了具身智能进入规模化阶段后无法回避的问题：如何量化每条演示轨迹对下游闭环任务的实际价值？

它将影响函数从 24M 参数级别的小模型、单任务范式，推进至十亿参数 VLA 及多任务联合训练的新范式；通过 Kronecker 梯度压缩与随机截断近似，将 50 个任务的影响函数计算时间从 8054.6 GPU 小时锐减至 25.7 GPU 小时；并通过 MII 多任务影响建模，使数据管理既能关注本任务贡献，又能兼顾跨任务影响。实验数据表明，ATHENA 凭借高效的数据管理方法，在使用“更少但更有价值的数据”的前提下，在仿真与真实机器人环境中均获得了更高回报。

随着机器人数据规模持续增长，这种能够从因果层面高效评估数据价值的方案，其重要性将日益凸显。ATHENA 不再单纯依赖人类偏好或经验来判断数据质量，而是从下游闭环任务的价值出发来评估每条演示，为大规模机器人数据筛选开辟了一条切实可行的新路径。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：ATHENA将影响函数扩展至十亿参数VLA 313倍加速数据筛选要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题