从VPP到VPP2:你的WAM可能并没有想象中泛化

来源:微信公众号 · 收录日期 2026-10-10 · 原文链接 ↗
图:mp.weixin.qq.com

今天最好的视频生成模型,是在整个互联网的视频上训练出来的。它们见过厨房、工地、球场、手术台,见过人手、机械臂、猫和卡车。这些模型身上带着一种非常宝贵的东西:泛化能力。

接上动作之后,我们同样希望机器人在面对没见过的任务时,泛化能力会有显著提高。

但VPP系列的作者彦江在和我们交流的时候提到了一个反直觉的现象:WAM其实并没有达到理想的在陌生场景和陌生任务上的泛化效果。(值得一提的是,Video prediction policy是24年底的作品,早于WAM这波热潮。但到了2026年,WAM其实并没有被优化到理想的效果。)

去翻一翻此前 WAM 论文的项目主页。你会发现一个奇怪的规律:它们展示的视频预测,几乎清一色落在自己后训练过的机械臂场景里。桌上摆着几样熟悉的东西,机械臂以熟悉的姿态伸过去。少数几个展示人手的例子,人手也只是在画面里做点轻微的抖动。

VPP2 在文章中做了个对比实验:在标准 LIBERO 上,一些主流的WAM模型成功率非常高,但换成考验泛化能力的 LIBERO-OOD评分会骤降。这组落差说明,熟悉任务上的高成功率,并不能证明视频先验已经被带进陌生任务。

本文由 OLICCA.LAB 基于公开资料整理编译,版权归原作者所有;查看原文 ↗
粤ICP备2026135354号-1 · 隐私说明