自变量发布跨模态具身动作分词器 X-Tokenizer，多模态对于齐能力晋升 13.5%，长程使命机能晋升 8.25%

自变量呆板人发布跨模态具身动作分词器 X-Tokenizer，将 VLA 中的动作离散化从单一的“压缩-重修”问题，从头界说为“多模态推理与动作之间的语义接口进修”问题。

动作分词器决议了拆分出的动作 Token 是否具备语义，是否能加快预练习模子的收敛，从而终极影响了 VLA 模子输出持续动作的机能。这是自变量呆板人的最新发明。

具身智能的 VLA 模子（视觉-语言-动作模子）是将预练习的 VLM 模子（视觉语言模子）与动作专家（Action Expert）毗连起来，前者吸收图象及语言指令，输出隐蔽状况；后者则将隐蔽状况转化为呆板人可以履行的持续动作指令。但二者的暗示要领存于不匹配：VLM 模子输出离散暗示，而呆板人需要吸收持续指令。于预练习时，需要使用动作分词器（Action Tokenizer）来将持续动作拆分压缩为离散暗示。

对于此，自变量呆板人提出一种新的轻量级、跨模态具身动作分词器 X-Tokenizer。它采用“编码器-语义残差量化（SRQ）-解码器”架构，用 SRQ 替代了传统的尺度残差向量量化（RVQ），于这一层分散出动作用意，并于涵盖 17 个机械臂系列的 240 万条轨迹（包罗 20 亿动作帧）长进行了预练习。

差别在 FAST、VQ-BeT 等以最小化重修偏差为独一方针的传统分词器，X-Tokenizer 于“编码器-语义残差量化（SRQ）-解码器”轻量架构之上，对于残差量化施加监视：第一层经由过程掩码动作建模（MAM）进修粗粒度动作用意，形成离散动作语言；更深层级则保留细粒度几何残差。于此基础上，进一步引入与预练习 VLM 表征空间的对于比对于齐、以和将来帧视觉-语言特性猜测两类跨模态监视旌旗灯号，使动作 Token 于预练习阶段即与视觉、语言语义同享统一暗示空间。

X-Tokenizer 于涵盖 17 个机械臂系列、240 万条轨迹上预练习后冻结，作为一个可复用的暗示模块插入VLA 骨干。试验显示，比拟 FAST，多模态对于齐能力晋升 13.5%，长程使命机能晋升 8.25%，RoboTwin 2.0 患上分到达 82.8。这一成果注解了咱们的焦点不雅点，于 VLA 预练习中，动作分词器不该仅基在动作自己做压缩，而应基在其所处的多模态上下文举行设计——它的真正脚色，是动作模态与视觉-语言模态之间的语义桥梁。

SRQ 捕捉动作用意对于齐语义，抗噪声能力年夜幅晋升

X-Tokenizer 采用 Encoder → SRQ → Decoder 的轻量级架构。其立异性的焦点要领于在语义残差量化（SRQ），即于尺度残差向量量化（RVQ）上施加非对于称监视，让第一层能捕捉到更多动作语义。

详细来讲，传统的 RVQ 于重修动作时，所有层级看到不异的重修丧失、趋势在匀称分配，拆分出的 Token 是纯几何的，没有特定动作语义。SRQ 则将粗粒度的动作用意及细粒度几何批改拆分，将它们分配到差别的 RVQ 层级，让第 1 层捕获到更多动作语义，第 2-4 层保留更多重修细节。

经由过程引入掩码动作建模 (MAM）、Vision-Language Feature 对于比对于齐、下一帧Vision-Language Feature 猜测三年夜语义监视旌旗灯号，SRQ 收集实现了精彩的效果：

当给动作注入噪声时，经由过程 SRQ 拆分的动作 ID 险些连结稳定，抗动作噪声鲁棒性（WER，越低越好）于 σ = 0.008 的噪声下为 0.526，申明噪声被第 2-4 层接收，辨认出的动作用意连结稳定；而 FAST 的动作 ID 序列长度发生转变，WER 高达 1.445，申明没法区别重要动作与噪声，发生了语义反转。

简朴来讲，X-Tokenizer 经由过程语义残差量化（SRQ）实现了实现语义-几何的分散，不仅使拆分出的动作 Token 具备明确的语义，而且可以或许抗动作噪声滋扰。这些监视头仅于预练习时利用，于推理时移除了，不会带来分外机能开消，而是将动作常识沉淀于 SRQ 收集布局中。

真机测试优在主流动作分词器，长程使命成就晋升8.25%

自变量对于利用 X-Tokenizer 动作分词器的效果举行了试验。其将一段 64 帧的动作块压缩成 16 个 slot，每一个对于应一小段动作序列。此外，VLM 特性也被压缩到 16 个时间步。然后计较出二者的余弦相似度矩阵：出现于对于角线上的余弦相似度越高，申明统一个时间上，模子“看到”的视觉与“做出”的动作越匹配，动作模态与视觉模态越对于齐。

可以看到，Slot 热力求中段余弦值峰值约为0.6，出现出较高的相干性。此外多种机械臂的试验中，对于角线均为正值，而且形态相似的机械臂之间有很强的相干性。这申明 VLM 模子确凿学到了动作与视觉的语义对于应瓜葛，而且对于在形态相似的机械臂可以或许同享常识。

于 RoboTwin 2.0 基准评测上，利用WALL-OSS + X-Tokenizer ，测试成就跨越于简朴及坚苦使命均跨越业界主流模子 Pi 0、Pi 0.5 及 X-VLA。于坚苦使命中，WALL-OSS + X-Tokenizer 的分数更为领先，注解于视觉前提变化时，对于齐动作与其他模态对于完成使命更有效。

于真机测试使命里，X-Tokenizer 测试了7个桌面使命（5 个短时间操作 + 2 个长程推理），并比力了四种动作分词要领：原始的 WALL-OSS 模子（未加动作分词器）、FAST动作分词器、仅重修动作的 4 级 RVQ 分词器，以和完备的 X-Tokenizer。成果注解，利用 X-Tokenizer 优在或者打平其他要领，而且于长程推理使命有 8.25% 的晋升。

动作分词器 X-Tokenizer 的精彩成就注解，VLA 预练习的动作分词应该基在多模态上下文举行设计，而不是仅仅针对于动作自己举行压缩优化。对于在当前的 VLA 具身模子来讲，动作分词不仅能举行信息的压缩，加速预练习阶段的收敛，同时对于齐动作与其他模态信息也能带来巨年夜的机能晋升，是将来具身范畴动作分词器研究的主要标的目的。