已核对的对齐条件
34 个视频案例的 tree、shard、episode、起始帧和样本编号完全对应。每组从 0 到 5000 步的 prompt hash 不变。动作评估使用 464 个固定窗口;按原始来源轨迹划分训练/验证(约 5% 验证),不是开放任务泛化测试。
预测动作:32 × 16,覆盖未来 1.28 秒;视频:一步视频预测的未来 8 帧。动作推理设 num_inference_steps=10。输入含初始状态及历史观测。
同一批验证样本,对比 Joint-100k 初始化与两组原子指令微调。先看整体趋势,再逐帧核对机器人动作与视频细节。
| 模型 / 输入 | 步数 | Action RMSE ↓ | Action MAE ↓ | Video PSNR ↑ | Video loss ↓ |
|---|
Action 指标在每个数据集标准化后的有效 EE16 维度上计算,无物理单位;不是厘米或弧度。PSNR 只对 34 个代表性窗口的未来视频计算,不是全部 464 个窗口。

点击曲线下载/查看独立 PDF。这里都是验证指标,不是训练 mini-batch loss。
源评估视频的真实未来帧
每段只有未来 1.28 秒(8 帧,6.25 FPS)。画面包含主视角和右侧上下两个腕部视角;大幅静态背景可能掩盖局部手臂、物体和接触误差。可调慢速或拖动逐帧滑块。同步播放是浏览器尽力同步,精确比较请用逐帧模式。
| 数据集 | 动作窗口数 | RMSE · L3+L2 | RMSE · +L1 | +L1 相对改善 | PSNR · L3+L2 | PSNR · +L1 |
|---|
动作指标每个数据集最多 16 个固定窗口;视频每个数据集只有 1 个案例。胜负计数仅为描述性统计,不代表统计显著性。
34 个视频案例的 tree、shard、episode、起始帧和样本编号完全对应。每组从 0 到 5000 步的 prompt hash 不变。动作评估使用 464 个固定窗口;按原始来源轨迹划分训练/验证(约 5% 验证),不是开放任务泛化测试。
预测动作:32 × 16,覆盖未来 1.28 秒;视频:一步视频预测的未来 8 帧。动作推理设 num_inference_steps=10。输入含初始状态及历史观测。
两组评估 prompt 不同,因此当前差异同时包含微调方案和输入信息差异,尚不能独立证明 L1 的因果贡献。需要补做正确 L1 / 去掉 L1 / 打乱 L1 的相同输入交叉评估。
原评估未保存逐窗口动作预测数组,无法从这些文件恢复左右臂轨迹图;SSIM、LPIPS 和机器人闭环成功率也尚未测量。此页不把离线误差下降等同于执行成功率提升。
指标读取原始 evaluation/metrics.jsonl;视频使用原始保存的 MP4。GT 从左真值、右预测的对比视频裁出,可能有轻微编码误差;页面 PSNR 来自编码前原评估值,并非重新对压缩 MP4 计算。