EasyWAM-Hidden-Wan22架构深度解析：Action DiT如何单向条件Video DiT特征实现隐藏视觉条件

EasyWAM-Hidden-Wan22架构深度解析Action DiT如何单向条件Video DiT特征实现隐藏视觉条件EasyWAM-Hidden-Wan22 是基于 Wan2.2-TI2V-5B 视频基座模型训练的 World Action Model世界动作模型检查点仓库。它的核心架构是一个独立的Action DiT以单向条件方式读取Video DiT的中间特征从而获得隐藏视觉条件hidden visual conditioning在 LIBERO 机器人操作基准上取得了 98.8% 的平均成功率。本文将从新手视角拆解这套架构的设计思路、评测结果与使用要点。什么是 EasyWAM-Hidden-Wan22一句话概括用视频生成模型的想象力让机器人更会做动作。基座模型Wan-AI/Wan2.2-TI2V-5B文生视频/图生视频 DiT 架构训练框架基于 EasyWAM 代码库训练本仓库仅发布检查点与数据统计应用领域机器人学robotics、模仿学习imitation learning、世界动作模型评测基准LIBERO 四套操作任务套件 LIBERO-Plus 扰动测试本仓库是一个发布型仓库只包含 4 个文件均已在下文给出相对路径。文件说明README.md项目说明、评测结果与使用命令libero_hidden_wan22.ptLIBERO 全参数检查点libero_hidden_wan22_lora_128.ptLIBERO LoRA 检查点rank 128 / alpha 128libero_dataset_stats.jsonLIBERO 状态与动作归一化统计量架构核心单向条件机制如何工作角色分工Video DiT 与 Action DiT可以把模型想象成一个双部门团队Video DiT视频部门继承自 Wan2.2-TI2V-5B擅长看画面、预测画面负责未来视频预测。Action DiT动作部门EasyWAM 新增的独立模块负责把视觉信息转化为机器人动作指令。关键点在于两者之间的连接方式——单向条件one-way conditioningAction DiT 会读取 Video DiT中间层的特征作为条件输入但 Video DiT不会反过来读取 Action DiT 的信息。用通俗的话说动作模块可以旁听视频模块的思考过程视频模块则保持专心画画不被动作任务打扰。为什么选择单向而不是双向双向交互看似信息更充分但通常会让训练更复杂、任务间互相干扰。单向条件带来了三个好处解耦训练目标视频预测与动作学习各自有清晰的梯度路径Video DiT 的视频生成能力被尽量保留复用预训练能力Action DiT 直接站在 Wan2.2 强大视频特征的肩膀上少走了很多冷启动的弯路推理可解释视觉条件来源唯一且固定Video DiT 中间特征行为更稳定。什么是隐藏视觉条件隐藏hidden指的是Action DiT 拿到的不是原始图像而是 Video DiT 内部的潜在特征表示——这些特征包含了场景的动态规律与未来趋势比像素信息更浓缩。这正是 README.md 中强调的一点推理阶段模型依然保留未来视频预测。因为未来视频预测是产生这些隐藏视觉特征的前提——模型先想象接下来会发生什么动作模块再基于这些想象生成动作。换句话说预测未来画面本身就是这套架构的核心能力来源而不是可选项。LIBERO 评测结果解读为什么值得选这个架构以下数据来自 README.md 的官方评测协议state_position: sequence数字为成功率 %越高越好。全参数模型对比模型SpatialObjectGoalLIBERO-10Avg.EasyWAM-Unified98.498.899.298.098.6EasyWAM-MoT97.099.296.694.096.7EasyWAM-MoT-Joint98.298.097.696.897.7EasyWAM-MoT-IDM99.099.298.897.498.6 EasyWAM-Hidden99.2100.097.898.298.898.8% 的平均成功率是所有同基座Wan2.2-TI2V-5B模型中最高的尤其在 Object 套件上拿到满分 100.0。LoRA 轻量版对比模型SpatialObjectGoalLIBERO-10Avg.EasyWAM-Unified91.298.891.866.287.0EasyWAM-MoT96.899.697.490.095.9 EasyWAM-Hidden98.099.889.486.693.5LoRA 版本下EasyWAM-MoT 略占优但注意 Hidden 版的 Spatial98.0与 Object99.8单项表现依然非常强短板集中在 Goal 与 LIBERO-10 长序列任务。鲁棒性LIBERO-Plus 扰动测试模型BackgroundCameraLayoutLightRobotAvg.EasyWAM-MoT-IDM62.252.082.093.278.075.3 EasyWAM-Hidden59.357.084.395.083.777.6在背景、相机、布局、光照、机器人外观等扰动场景中EasyWAM-Hidden 平均 77.6% 同样领先相机扰动57.0与布局扰动84.3两项为全场最高——这印证了隐藏视觉条件对视觉变化的容忍度更高。检查点下载与评测快速上手第一步下载检查点hf download OpenMOSS-Team/EasyWAM-Hidden-Wan22 \ libero_hidden_wan22.pt \ libero_hidden_wan22_lora_128.pt \ libero_dataset_stats.json \ --local-dir ./checkpoints第二步运行 LIBERO 评测需要先安装 EasyWAM 代码库、按官方指南配置 Wan2.2-TI2V-5B 依赖与 LIBERO 模拟器然后执行# 全参数检查点 python experiments/libero/run_libero_manager.py \ tasklibero_easywam_hidden_wan22 \ ckpt./checkpoints/libero_hidden_wan22.pt \ EVALUATION.dataset_stats_path./checkpoints/libero_dataset_stats.json # LoRA 检查点 python experiments/libero/run_libero_manager.py \ tasklibero_easywam_hidden_wan22_lora \ ckpt./checkpoints/libero_hidden_wan22_lora_128.pt \ EVALUATION.dataset_stats_path./checkpoints/libero_dataset_stats.json默认协议会对 4 套 LIBERO 套件、每个任务各跑 50 次多卡加速可加MULTIRUN.num_gpusgpu-count参数。使用注意清单避坑指南⚠️LoRA 检查点不包含完整 Wan2.2 基座libero_hidden_wan22_lora_128.pt 只含 rank 128alpha 128的 LoRA 权重与其余可训练模块使用前必须自行下载 Wan2.2-TI2V-5B 基座权重并配置路径⚠️任务配方要匹配LoRA 检查点必须用对应的libero_easywam_hidden_wan22_lora任务配方加载不能混用全参数配方状态 token 放置方式为sequence评测与微调时请保持一致 检查点格式为 EasyWAM PyTorch checkpoint.pt归一化统计见 libero_dataset_stats.json含 state 8 维与 action 7 维的 min/max/mean/std 等 检查点采用CC BY-NC 4.0许可EasyWAM 代码为 MIT 许可商用前请留意许可条款。总结EasyWAM-Hidden-Wan22 给出了世界动作模型的一个优雅答案不必让视频和动作互相纠缠。Action DiT 单向读取 Video DiT 的中间特征把预测未来画面的能力转化为隐藏视觉条件最终以 98.8% 的平均成功率登顶同基座模型对比。如果你正在寻找一个开箱即用、且在视觉扰动下依然稳健的机器人操作策略检查点这套 Wan2.2 隐藏条件架构值得一试。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考