复合操作
RoboCasa365 复合 seen 任务:对比 XR-1 基线、无自进化和有自进化三种设置。
RoboCasa365
RoboCasa365 数据集 · XR-1 动作策略。对比基线、无自进化和有自进化三种设置。
RoboCasa365 是本次自进化结果的评测数据集;其他任务演示按各自环境展示。
RoboCasa365 复合 seen 任务:对比 XR-1 基线、无自进化和有自进化三种设置。
RoboCasa365 原子 seen:无自进化 82.1%,加入自进化后 85.5%。
RoboTwin 2.0(demo_clean):50 个任务、5,000 回合,Qwen3.5-9B LoRA 配合共享 π0.5,整任务成功率 61.58%。
跨房间导航与移动操作(先导航、后操作)。移动导航技能族已在目录中,基准赛道已排队。
各环境的结果按对应任务和评测设置分别报告。
| 套件 | Without Agent | Agent | ||
|---|---|---|---|---|
| 成功 / 失败 | 成功率 | 成功 / 失败 | 成功率 | |
libero_goal目标泛化 | 492 / 8 | 98.4% | 497 / 3 | 99.4% |
libero_spatial空间泛化 | 488 / 12 | 97.6% | 497 / 3 | 99.4% |
libero_object物体泛化 | 487 / 13 | 97.4% | 496 / 4 | 99.2% |
libero_10长时程 · 两组合并 | 467 / 33 | 93.4% | 488 / 12 | 97.6% |
| 总计 · 40 任务 | 1,934 / 66 | 96.7% | 1,978 / 22 | 98.9% |
LIBERO 按原始回合 ID 统计完成情况。Without Agent 使用 2,000 次执行,Agent 使用 2,066 次执行,两列执行预算不同。
Qwen3.5-9B LoRA负责生成与调度子任务,多任务π0.5执行动作。评测覆盖50类双臂操作任务。
每项任务测试100个独立评测回合,按环境给出的任务完成信号统计成功率。
三路 RGB · π0.5 action horizon 32 · Qwen LoRA step 3,500 · π0.5 step 20,000
| 任务 | 成功 / 测试数 | 成功率 |
|---|---|---|
adjust_bottle | 100 / 100 | 100.0% |
beat_block_hammer | 61 / 100 | 61.0% |
blocks_ranking_rgb | 42 / 100 | 42.0% |
blocks_ranking_size | 24 / 100 | 24.0% |
click_alarmclock | 99 / 100 | 99.0% |
click_bell | 100 / 100 | 100.0% |
dump_bin_bigbin | 64 / 100 | 64.0% |
grab_roller | 97 / 100 | 97.0% |
handover_block | 4 / 100 | 4.0% |
handover_mic | 79 / 100 | 79.0% |
hanging_mug | 22 / 100 | 22.0% |
lift_pot | 58 / 100 | 58.0% |
move_can_pot | 51 / 100 | 51.0% |
move_pillbottle_pad | 59 / 100 | 59.0% |
move_playingcard_away | 96 / 100 | 96.0% |
move_stapler_pad | 11 / 100 | 11.0% |
open_laptop | 69 / 100 | 69.0% |
open_microwave | 54 / 100 | 54.0% |
pick_diverse_bottles | 52 / 100 | 52.0% |
pick_dual_bottles | 74 / 100 | 74.0% |
place_a2b_left | 77 / 100 | 77.0% |
place_a2b_right | 83 / 100 | 83.0% |
place_bread_basket | 47 / 100 | 47.0% |
place_bread_skillet | 66 / 100 | 66.0% |
place_burger_fries | 84 / 100 | 84.0% |
place_can_basket | 49 / 100 | 49.0% |
place_cans_plasticbox | 56 / 100 | 56.0% |
place_container_plate | 95 / 100 | 95.0% |
place_dual_shoes | 39 / 100 | 39.0% |
place_empty_cup | 93 / 100 | 93.0% |
place_fan | 67 / 100 | 67.0% |
place_mouse_pad | 33 / 100 | 33.0% |
place_object_basket | 57 / 100 | 57.0% |
place_object_scale | 62 / 100 | 62.0% |
place_object_stand | 94 / 100 | 94.0% |
place_phone_stand | 55 / 100 | 55.0% |
place_shoe | 60 / 100 | 60.0% |
press_stapler | 89 / 100 | 89.0% |
put_bottles_dustbin | 9 / 100 | 9.0% |
put_object_cabinet | 68 / 100 | 68.0% |
rotate_qrcode | 65 / 100 | 65.0% |
scan_object | 27 / 100 | 27.0% |
shake_bottle | 99 / 100 | 99.0% |
shake_bottle_horizontally | 98 / 100 | 98.0% |
stack_blocks_three | 36 / 100 | 36.0% |
stack_blocks_two | 72 / 100 | 72.0% |
stack_bowls_three | 31 / 100 | 31.0% |
stack_bowls_two | 80 / 100 | 80.0% |
stamp_seal | 34 / 100 | 34.0% |
turn_switch | 38 / 100 | 38.0% |
| 总计 | 3,079 / 5,000 | 61.58% |
在独立的 250 条 task-stratified 验证回合上评估,与整任务成功率分开统计。逐子任务指标使用 785 个对齐槽位,总预算误差使用 248 条可解析计划;文本 F1 衡量与参考标注的重合程度。
| 指标 | 样本 / 单位 | 结果 |
|---|---|---|
| 计划 JSON 可解析率 | 250 回合 | 99.20% |
| 子任务数量完全匹配率 | 250 回合 | 80.40% |
| Skill 完全匹配率 | 785 个对齐槽位 | 88.28% |
| 子任务指令 token-F1 | 785 个对齐槽位 | 81.53% |
| 成功条件 token-F1 | 785 个对齐槽位 | 81.13% |
| 逐子任务预算完全匹配率 | 785 个对齐槽位 | 79.87% |
| 整条预算序列完全匹配率 | 250 回合 | 74.00% |
| 逐子任务预算 MAE | chunk | 0.222 |
| 总预算 MAE | 248 条可解析计划 | 0.726 |
| 整条计划逐字段完全一致 | 250 回合 | 33.60% |
Qwen3.5-9B 负责视觉规划与验证,各任务公开 ACT 策略在 EmbodiChain / DexSim 中执行动作。2026-10-12 评测覆盖 10 项官方任务。
每项任务测试100个随机初始化回合,共1,000回合。任务在预算内达到环境完成条件时计为成功。
本组评测使用未经专家可行性筛选的随机初始化,与官方筛选设置分别比较。
| 任务 | 成功 / 测试数 | 成功率 |
|---|---|---|
click_bell | 54 / 100 | 54% |
drawer_open_place | 4 / 100 | 4% |
handle_basket | 18 / 100 | 18% |
item_assembly | 60 / 100 | 60% |
items_handover | 4 / 100 | 4% |
manipulate_pipette | 56 / 100 | 56% |
mixer_operating | 66 / 100 | 66% |
sample_loading | 1 / 100 | 1% |
table_rearrangement | 98 / 100 | 98% |
water_pouring | 51 / 100 | 51% |
| 总计 | 412 / 1,000 | 41.2% |
单场景解析将685,513个点转为16个结构化实体。后续规划按需读取对象与关系,1,000次重置后全局场景保持一致。
SpatialLM原论文的公开结果展示了基础模型的重建与定位能力。F1按IoU=0.50计算,Structured3D包含250个场景,ScanNet包含312个场景。
Isaac Sim固定滴定场景采用预设技能序列,依次取瓶、两次倾倒30 mL、放回并记录。五步流程历时20.8 s,最终烧杯呈粉红色且记录完成。
观看滴定演示