新增 10.24 秒长视频测试: 真实观测连续预测 / 实验性 AR rollout →
ATOMIC SKILL FINE-TUNING

训练前后,模型学到了什么?

同一批验证样本,对比 Joint-100k 初始化与两组原子指令微调。先看整体趋势,再逐帧核对机器人动作与视频细节。

464 个验证窗口34 个视频案例共同对比点:5000 步固定种子:42 + 样本编号
这是 5000 步的配对评估快照。 抓取时 L3+L2 已完成 6000 步,L3+L2+L1 尚未完成最终评估。曲线保留前者的 6000 步点,视频和主要结论统一比较 5000 步,不把不同训练步数混为公平对照。快照:2026-10-19 12:26 北京时间。
01 / OVERVIEW

动作误差与视频质量

下载指标 CSV ↗

模型 / 输入步数Action RMSE ↓Action MAE ↓Video PSNR ↑Video loss ↓

Action 指标在每个数据集标准化后的有效 EE16 维度上计算,无物理单位;不是厘米或弧度。PSNR 只对 34 个代表性窗口的未来视频计算,不是全部 464 个窗口。

两组模型从 0 到 5000/6000 步的验证 RMSE、MAE、视频 PSNR 和 video loss 曲线

点击曲线下载/查看独立 PDF。这里都是验证指标,不是训练 mini-batch loss。

03 / BREAKDOWN

分数据集看收益与退化

下载分组 CSV ↗

数据集动作窗口数RMSE · L3+L2RMSE · +L1+L1 相对改善PSNR · L3+L2PSNR · +L1

动作指标每个数据集最多 16 个固定窗口;视频每个数据集只有 1 个案例。胜负计数仅为描述性统计,不代表统计显著性。

04 / HOW TO READ

评估范围与下一步

已核对的对齐条件

34 个视频案例的 tree、shard、episode、起始帧和样本编号完全对应。每组从 0 到 5000 步的 prompt hash 不变。动作评估使用 464 个固定窗口;按原始来源轨迹划分训练/验证(约 5% 验证),不是开放任务泛化测试。

预测动作:32 × 16,覆盖未来 1.28 秒;视频:一步视频预测的未来 8 帧。动作推理设 num_inference_steps=10。输入含初始状态及历史观测。

还不能据此判断什么

两组评估 prompt 不同,因此当前差异同时包含微调方案和输入信息差异,尚不能独立证明 L1 的因果贡献。需要补做正确 L1 / 去掉 L1 / 打乱 L1 的相同输入交叉评估。

原评估未保存逐窗口动作预测数组,无法从这些文件恢复左右臂轨迹图;SSIM、LPIPS 和机器人闭环成功率也尚未测量。此页不把离线误差下降等同于执行成功率提升。

指标读取原始 evaluation/metrics.jsonl;视频使用原始保存的 MP4。GT 从左真值、右预测的对比视频裁出,可能有轻微编码误差;页面 PSNR 来自编码前原评估值,并非重新对压缩 MP4 计算。

下载完整汇总 JSON · 下载曲线 PDF