别只盯着VLA，上交大WLA模型一统“世界建模+语言推理+动作”，推理还只要40毫秒！

动作模型 WLA 视频动力学

发布于 2026-11-03

我们非常重视原创文章，为尊重知识产权并避免潜在的版权问题，我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容，访问作者的公众号页面获取完整文章。

文章来源：

AI生成未来

扫码关注公众号

扫码阅读

手机扫码阅读

文章主旨：提出世界-语言-动作（WLA）模型，以自回归Transformer主干统一高层文本意图、底层物理动力学与动作合成，在保持实时推理的同时提升长程任务表现和跨具身视频学习能力。

关键要点：

范式与主干：WLA采用自回归Transformer替代主流WAM使用的双向扩散Transformer（DiT），将世界建模、语言推理和动作合成整合到单一架构中；其核心见解是“下一时刻状态”应同时包含高层文本意图和底层物理动力学。
三专家协作与双层表征：主干网络预测文本子任务和潜动作等动力学特征，世界专家将动力学特征转化为未来视觉状态验证，动作专家将动力学特征转化为可执行动作；推理阶段可完全禁用世界专家以降低延迟。
关键技术与优化：采用元查询聚合全局上下文提取物理动力学特征，使用流匹配生成动作和视觉状态，引入测试时缩放（TTS）采样候选动作并由价值模型评分；结合CUDA Graph、Triton算子融合、KV缓存预计算等工程优化，在RTX 5090上实现约40ms推理延迟。
实验性能：在RoboTwin 2.0清洁场景成功率达92.94%，LIBERO平均成功率达98.6%，RMBench成功率达56.5%，约为此前最优基线Mem-0（28.5%）的两倍；在真实“丢垃圾”等动态任务中表现出较强实时响应能力。
泛化潜力与局限：WLA-0可从无动作标注的跨具身机器人视频中学习控制策略，未见任务加入跨具身视频监督后成功率从13%提升至近30%；但真实世界实验仍限于单一机器人平台的少量双臂任务，人类视频与机器人视频之间的领域鸿沟仍需进一步解决。

内容结构：

世界模型用于模拟物理动力学，是物理人工智能的基础；世界-动作模型（WAM）整合世界模型与具身控制，可从大规模第一视角视频预训练中获益。
现有方法主要预测“下一帧视觉状态”，使模型承担过多低级像素细节，限制语义推理和逻辑外推能力。
文章核心见解是：下一时刻状态应包含高层文本意图和底层物理动力学两个维度。前者提供紧凑、泛化性强的未来状态抽象表示；后者作为高层意图与精细运动控制之间的桥梁。
据此提出WLA模型，采用自回归Transformer主干，将高层意图定义为从原始指令分解出的文本子任务，并利用视觉语言模型的语言建模与上下文管理能力，使高层意图同时引导物理动力学预测和动作预测。

世界-语言-动作模型（WLA）：模型输入当前观测、历史观测、本体状态和指令，预测动作块，其前导信息为文本意图和未来视觉状态。
文本意图学习：使用预训练VLM初始化主干网络，学习预测覆盖未来动作视野的子任务窗口，并利用内存缓冲区存储历史子任务，为长程任务提供上下文。
物理动力学建模：在主干网络中加入元查询，输出紧凑的物理动力学特征；世界专家根据该特征和当前状态预测未来视觉状态的VAE特征；动作专家根据该特征产生显式动作。该隐式范式使推理时可移除世界专家，摆脱传统“先成像后行动”WAM模式的限制。
训练目标：采用子任务生成的交叉熵损失，以及分别用于世界建模和动作预测的两个流匹配损失进行联合训练。
推理优化：高效模式默认禁用世界专家，通过CUDA图捕获、算子融合等加速实现实时推理；测试时缩放模式在算力充裕时采样多个候选动作块，由世界专家“想象”动作后的视觉状态，并由价值模型评分后执行最高分动作块。

仿真表现：在RoboTwin 2.0双臂操作基准中成功率达92.94%；在LIBERO多任务学习基准中平均成功率达98.6%，超越π0.5和Motus等基线。
长程任务：在依赖记忆的RMBench任务中，凭借语言规划能力将成功率提升至56.5%，约为此前最优基线Mem-0（28.5%）的两倍。
真实世界实时性：推理延迟约40ms，在涉及移动目标的“丢垃圾”任务中，反应速度和轨迹预测能力优于传统VLA模型。
跨具身视频学习：WLA-0可从无动作标注的跨机器人视频中学习新技能，为利用海量互联网视频训练机器人提供可行路径。