
一段网球视频,两种身体:在 Mac 上复现角色与智元 A3 动作
从 Mixamo LLM Mocap 的项目说明出发,在 Mac 上将同一段网球视频还原为虚拟角色和智元 A3 数字模型的动画。记录人体估计、角色重绑、关节约束与逐帧验证,也讨论它离训练和遥操作还有哪些步骤。
阅读全文 ↗
Ray Space技术 · 场景 · 产品视频里,机器人把箱子从货架搬到了指定位置,动作很顺。你想到自己的仓库:箱子有时会放歪,通道里也会有人经过。想把它放进现场,接下来该问什么?
我们用一个简化的搬运场景来讨论:从货架取一个箱子,送到接收点,再回到可以继续工作的状态。这是说明问题的例子,不是某台机器人的实际测试结果。
先沿着这条路线写出任务:从哪里取、送到哪里、箱子允许怎样摆放,怎样才算放好了。如果只写“支持搬运”,方案方可能理解为固定位置取放,你想的却是现场任意位置取物。
这时不必先问模型有多先进。拿着任务去问:视频覆盖了哪一步?哪些步骤还有条件限制?两边对同一件事的理解,会更容易对上。
任务说明白以后,再看现场会怎么变。先挑几个真的可能发生、又会影响这条任务的变化。对于这个例子,可以是箱子偏了位置、目标点被占用,或者路线暂时不可通行。
这些变化不是为了证明机器人“什么都能做”,而是为了看清它能处理什么、需要人做什么。每次只改变一项条件,才比较容易知道结果为什么变了。
在双方约定的安全条件下,先讨论处理策略,再安排测试。下面列的是需要确认的问题,并没有预设机器已经具备这些能力。
| 现场变化 | 要观察什么 |
|---|---|
| 箱子位置偏移 | 还能否找到并取到箱子?允许的范围是什么? |
| 接收点被占用 | 会等待、换位置,还是请求人工处理? |
| 路线暂时不可通行 | 怎样停止、提示,并恢复下一次任务? |
一次任务最终完成了,可能是机器人自己做完,也可能中途有人帮忙摆正箱子。两种结果对日常使用的意义不同,所以记录时要分开。
建议逐次记下:是否完成、有没有人工介入、卡在哪一步,以及恢复花了多久。重复次数和通过条件在测试前商定,不要测完才挑一个最漂亮的说法。
LeRobot 的 LIBERO 文档提到,评估结果会受随机种子影响。随机种子是生成随机变化的初始设置;文档建议更换多组设置,再对结果取平均。那是仿真评估的做法;放到现场讨论中,它提醒我们要看多次表现,而不能只看顺利的一次。[1]
测试结束后,把每条结果放回最初的任务说明里。哪些条件下能独立完成,哪些条件下需要人处理,还有哪些情况没有测到,都能逐项说清楚。
如果问题集中在箱子摆放范围,可以先讨论工位布置;如果问题出在恢复过程,就先把人员操作和提示补清楚。下一步投入应该对应具体问题,而不是继续重复同一段成功演示。
准备看下一场演示时,可以先带走这三问:它在什么条件下完成?中途谁帮过它?同样条件换一次任务,结果还能重复吗?