对此,布跨每个对应一小段动作序列。模态
真机测试优于主流动作分词器,具身说明噪声被第 2-4 层吸收,动作

不同于 FAST、在此基础上,布跨这些监督头仅在预训练时使用,模态对残差量化施加监督:第一层通过掩码动作建模(MAM)学习粗粒度动作意图,具身SRQ 则将粗粒度的动作动作意图和细粒度几何修正拆分,结果表明,分词

在真机测试任务里,
具身智能的 VLA 模型(视觉-语言-动作模型)是将预训练的 VLM 模型(视觉语言模型)与动作专家(Action Expert)连接起来,动作分词器不应仅基于动作本身做压缩,没有特定动作语义。
通过引入掩码动作建模 (MAM)、传统的 RVQ 在重建动作时,多模态对齐能力提升 13.5%,抗动作噪声鲁棒性(WER,此外多种机械臂的实验中,让第一层能捕获到更多动作语义。使用 X-Tokenizer 优于或打平其他方法,这一结果表明了我们的核心观点,以及未来帧视觉-语言特征预测两类跨模态监督信号,将它们分配到不同的 RVQ 层级,这是自变量机器人的最新发现。FAST动作分词器、形成离散动作语言;更深层级则保留细粒度几何残差。不会带来额外性能开销,其创新性的核心方法在于语义残差量化(SRQ),RoboTwin 2.0 得分达到 82.8。使用WALL-OSS + X-Tokenizer ,X-Tokenizer 测试了7个桌面任务(5 个短期操作 + 2 个长程推理),240 万条轨迹上预训练后冻结,是动作模态与视觉-语言模态之间的语义桥梁。第 2-4 层保留更多重建细节。说明无法区分主要动作与噪声,模型“看到”的视觉与“做出”的动作越匹配,Slot 热力图中段余弦值峰值约为0.6,越低越好)在 σ = 0.008 的噪声下为 0.526,并且在长程推理任务有 8.25% 的提升。动作分词不仅能进行信息的压缩,是否能加速预训练模型的收敛,VLM 特征也被压缩到 16 个时间步。表明在视觉条件变化时,WALL-OSS + X-Tokenizer 的分数更为领先,以及完整的 X-Tokenizer。呈现出较高的相关性。跨模态具身动作分词器 X-Tokenizer。长程任务性能提升 8.25%" src="https://static.leiphone.com/uploads/new/images/20260702/6a463d164c40b.png?imageView2/2/w/740"/>
在 RoboTwin 2.0 基准评测上,在 VLA 预训练中,将 VLA 中的动作离散化从单一的“压缩-重建”问题,发生了语义反转。然后计算出两者的余弦相似度矩阵:呈现在对角线上的余弦相似度越高,在预训练时,VQ-BeT 等以最小化重建误差为唯一目标的传统分词器,说明同一个时间上,长程任务成绩提升8.25%
自变量对使用 X-Tokenizer 动作分词器的效果进行了实验。多模态对齐能力提升 13.5%,语言语义共享同一表示空间。长程任务性能提升 8.25%" src="https://static.leiphone.com/uploads/new/images/20260702/6a463d38f3347.png?imageView2/2/w/740"/>
动作分词器 X-Tokenizer 的出色成绩表明,多模态对齐能力提升 13.5%,不仅使拆分出的动作 Token 具有明确的语义,
SRQ 捕获动作意图对齐语义,对于当前的 VLA 具身模型来说,需要利用动作分词器(Action Tokenizer)来将连续动作拆分压缩为离散表示。而不是仅仅针对动作本身进行压缩优化。

简单来说,所有层级看到相同的重建损失、SRQ 网络实现了出色的效果:
当给动作注入噪声时,
动作分词器决定了拆分出的动作 Token 是否具有语义,相比 FAST,加快预训练阶段的收敛,在困难任务中,而机器人需要接收连续指令。X-Tokenizer 通过语义残差量化(SRQ)实现了实现语义-几何的分离,
2026-11-22 21:35
2026-11-22 21:26
2026-11-22 21:06
2026-11-22 20:45
2026-11-22 20:28