從VPP到VPP2:你的WAM可能並沒有想像中泛化

來源:微信公眾號 · 收錄日期 2026-10-10 · 原文連結 ↗
圖:mp.weixin.qq.com

今天最好的影片生成模型,是在整個網際網路的影片上訓練出來的。它們見過廚房、工地、球場、手術檯,見過人手、機械臂、貓和卡車。這些模型身上帶著一種非常寶貴的東西:泛化能力。

接上動作之後,我們同樣希望機器人在面對沒見過的任務時,泛化能力會有顯著提高。

但VPP系列的作者彥江在和我們交流的時候提到了一個反直覺的現象:WAM其實並沒有達到理想的在陌生場景和陌生任務上的泛化效果。(值得一提的是,Video prediction policy是24年底的作品,早於WAM這波熱潮。但到了2026年,WAM其實並沒有被最佳化到理想的效果。)

去翻一翻此前 WAM 論文的專案主頁。你會發現一個奇怪的規律:它們展示的影片預測,幾乎清一色落在自己後訓練過的機械臂場景裡。桌上擺著幾樣熟悉的東西,機械臂以熟悉的姿態伸過去。少數幾個展示人手的例子,人手也只是在畫面裡做點輕微的抖動。

VPP2 在文章中做了個對比實驗:在標準 LIBERO 上,一些主流的WAM模型成功率非常高,但換成考驗泛化能力的 LIBERO-OOD評分會驟降。這組落差說明,熟悉任務上的高成功率,並不能證明影片先驗已經被帶進陌生任務。

本文由 OLICCA.LAB 基於公開資料整理編譯,版權歸原作者所有;檢視原文 ↗
粵ICP備2026135354號-1 · 隱私說明