自变量发布跨模态具身动作分词器X-Tokenizer，多模态对齐提升13.5%，长程任务提升8.25%

在具身智能领域，VLA模型（视觉-语言-动作模型）正站在一个关键的十字路口。这些模型将预训练的VLM（视觉语言模型）与动作专家相连接，让前者接收图像和语言指令、输出隐藏状态，后者则将这些隐藏状态转化为机器人能执行的连续动作指令。看似流畅的流程背后，却藏着个棘手的“不匹配”问题：VLM输出的离散表示，和机器人需要的连续指令之间，存在一道鸿沟。预训练阶段，动作分词器（Action Tokenizer）被设计来弥合这道鸿沟——通过将连续动作压缩为离散表示来解决问题。但问题是，动作分词器本身如何能做得更智能、更高效？

自变量机器人刚刚给出的最新答案是X-Tokenizer。这一创新思路将动作离散化从单一的“压缩-重建”问题，重新定义为“多模态推理与动作之间的语义接口学习”问题。简单来说，动作分词器拆分出的Token是否具有语义，直接关系到预训练模型能否更快收敛，进而决定了VLA模型输出连续动作的性能上限。这才是实现高效动作分词器设计的关键所在。

那么，X-Tokenizer到底做了什么不一样的？它采用了一套“编码器-语义残差量化（SRQ）-解码器”的轻量架构。与FAST、VQ-BeT等传统分词器以最小化重建误差为唯一目标不同，X-Tokenizer在残差量化环节施加了额外的“监督”——第一层通过掩码动作建模（MAM）学习粗粒度的动作意图，形成一种离散的“动作语言”；更深层级则保留细粒度的几何残差。除此之外，它还引入了与预训练VLM表征空间的对比对齐、以及未来帧视觉-语言特征预测这两类跨模态监督信号。这样一来，动作Token在预训练阶段就与视觉、语言的语义共享了同一个表示空间，实现了真正的多模态对齐。

这个X-Tokenizer在涵盖17个机械臂系列、240万条轨迹（总计20亿动作帧）上进行了预训练，之后被冻结，作为一个可复用的表示模块插入VLA主干。实验数据给出了清晰回答：相比FAST，多模态对齐能力提升了13.5%，长程任务性能提升了8.25%，在RoboTwin 2.0的评测中得分达到82.8。这个结果揭示了一个核心原则：在VLA预训练中，动作分词器的设计不应局限于动作本身，而应基于其所在的多模态上下文——它真正应该扮演的角色，是动作模态与视觉-语言模态之间的语义桥梁。

SRQ捕获动作意图对齐语义，抗噪声能力大幅提升

X-Tokenizer的架构核心在于这个语义残差量化（SRQ）。传统的残差向量量化（RVQ）有个问题：所有层级看到的都是相同的重建损失，趋向于均匀分配，拆分出的Token是纯几何的，缺乏动作语义。SRQ的做法是“分而治之”——将粗粒度的动作意图和细粒度的几何修正区分开，分配到不同的RVQ层级。第1层负责捕捉更多动作语义，第2至4层则保留更多的重建细节。

为实现这一目标，SRQ网络引入了三大语义监督信号：掩码动作建模（MAM）、Vision-Language Feature对比对齐、以及下一帧Vision-Language Feature预测。效果立竿见影——当在动作中注入噪声时，通过SRQ拆分的动作ID几乎保持不变。在σ=0.008的噪声下，其抗动作噪声鲁棒性指标WER为0.526（越低越好），说明噪声被第2至4层吸收，识别出的主要动作意图保持不变。相比之下，FAST的动作ID序列长度发生了改变，WER高达1.445——这意味着它无法区分主要动作与噪声，甚至发生了语义反转。

通俗点说，X-Tokenizer通过语义残差量化实现了语义与几何的分离，拆分出的动作Token不仅语义明确，而且能抵抗动作噪声的干扰。需要强调的是，这些监督头仅在预训练时使用，推理时会被移除——不增加性能开销，而是将动作知识沉淀在SRQ网络的结构之中。

真机测试优于主流动作分词器，长程任务成绩提升8.25%

自变量对X-Tokenizer的效果进行了一系列实验。他们将一段64帧的动作块压缩成16个slot，每个slot对应一小段动作序列；同时将VLM特征也压缩到16个时间步。然后计算两者的余弦相似度矩阵——呈现在对角线上的余弦相似度越高，意味着在同一时间维度上，模型“看到”的视觉与“做出”的动作越发匹配，动作模态与视觉模态对齐得越好。

从Slot热力图来看，中段余弦值的峰值约为0.6，显示出较高的相关性。更值得关注的是，在多种机械臂的实验中，对角线均为正值，且形态相似的机械臂之间表现出很强的相关性。这说明VLM模型确实学到了动作与视觉的语义对应关系，并且能够将知识在不同形态的机械臂之间共享。

在RoboTwin 2.0基准评测中，使用WALL-OSS加上X-Tokenizer的组合，在简单和困难任务上都超过了业界主流的Pi 0、Pi 0.5和X-VLA模型。尤其是在困难任务中，WALL-OSS + X-Tokenizer的得分更具优势——这表明在视觉条件发生变化时，对齐动作与其他模态的信息对完成任务来说更为有用。

更贴近实际应用的真机测试场景中，X-Tokenizer测试了7个桌面任务（5个短期操作加2个长程推理），并与四种动作分词方法进行了对比：原始的WALL-OSS模型（未加动作分词器）、FAST动作分词器、仅重建动作的4级RVQ分词器，以及完整的X-Tokenizer。结果很清晰：X-Tokenizer在任何任务上都优于或持平其他方法，并且在长程推理任务上带来了8.25%的性能提升。

以上结果传递出一个明确的信号：VLA预训练的动作分词，应当基于多模态上下文进行设计，而不是仅仅盯着动作本身做压缩优化。对于当前的VLA具身模型来说，动作分词不仅能完成信息压缩、加速预训练收敛，更关键的是，让动作与其他模态信息对齐，可以带来巨大的性能增益。这正是未来具身领域动作分词器研究的一个重要方向。