英伟达发布GR00T 2:机器人卡住后怎样接着干

AI生成概念图:机械夹爪夹起螺丝,旁边是待装机翼的橙色玩具飞机。来源:投黑马 Touheima.com

前沿科技 / 2026年11月10日 / 全文共1881字

美国当地11月9日,英伟达在奥斯汀的机器人学习大会上介绍GR00T 2。研究团队把玩具飞机、拖拉机和小汽车的零件随机倒在桌面上,让YAM双臂机器人反复组装。原本容易中断的装配有了另一条执行路径:零件掉落或动作停滞时,由规划智能体调用恢复程序,处理完再交回动作模型继续。

英伟达在三种玩具上分别做了100次测试。加入智能体监控和恢复程序后,每组成功97至98次。把这套办法搬进工厂,还得弄清机器会在哪里卡住、多久能恢复,以及哪些异常必须交给人。

零件掉了,谁来决定下一步

以玩具飞机为例,机器人要对准螺丝孔、用玩具电钻固定一侧机翼,再把机身翻过来固定另一侧。两侧机翼都锁紧、工具也放回桌面,这次装配才算成功。中间一次抓取没抓稳,后面的动作就可能失去前提,继续照着原来的步骤做也很难补救。

GR00T 2读取近期摄像画面、任务指令和机器人状态,同时预测接下来可能看到的画面与一段动作。机器人执行这段动作,再依据新的观测更新下一段。画面预测让模型在学习手怎样移动的同时,也学习物体会怎样随动作改变,例如零件被夹起以后应出现在哪里。

规划智能体负责检查进度。研究报告描述的做法是,智能体通过工具接口读取相机和机器人状态,发现掉件或停滞时,调用一段专门处理当前故障的动作程序。程序可以尝试把工作恢复到能继续的位置,随后由动作模型接着完成装配。部分恢复技能先在仿真里开发,再迁到真机。

白皮书还给出了网线插接的例子。机械臂要把五根网线依次插入指定端口,动作模型负责插接,规划智能体核对端口与链路状态。插接停滞或超过60秒时,恢复程序会抽回接头再试,每个端口最多尝试三次。全部插到指定端口才算完成一轮。

在相同的智能体框架下,经过真机强化训练的版本完成19轮,监督训练版本完成12轮,两者各做20轮。这个对照把插接技能本身的贡献单独量了出来。要让重试生效,机械臂得能重新对准接头,还要做得出精度足够的插入动作。

这种分工的好处是,机械臂还能使用学到的精细动作,遇到局部问题时也有机会补救。它对异常识别和恢复工具都有要求。镜头看不清问题,或工具库里没有合适的动作,规划智能体能做的判断就有限。

三组装配实验测到了什么

英伟达白皮书给了三组条件。仅用监督式后训练时,飞机、拖拉机、小汽车分别成功69、51和23次。训练中加入机器人执行时收集的纠错示范后,成功次数升至84、71和78次。最后在同一后训练策略上加入规划智能体和恢复程序,三个数字变为98、97和97次。

每种玩具在每种条件下各做100次。测试前零件随机散放,起始布局没有出现在后训练数据中,凡是需要人帮忙完成的试验都计作失败。纠错训练和运行中的恢复各有贡献,现场评估时应该分别保留这两组对照,才能知道改善来自哪一步。

加入恢复程序的300次测试仍有8次失败。其中3次螺丝没拧到位,动作模型和规划智能体却都判断这一步已经完成。另有3次是轮子装错后才介入,现有程序难以撤销。剩下2次分别是螺丝掉出桌面和螺丝卡住。

这份失败记录对工位设计有直接价值。投黑马建议先区分能重新抓取的掉件和肉眼不易确认的装配质量问题。前者可以尝试自动恢复,后者可能需要扭矩读数、位置传感器或工装检测来确认。若同一幅画面不足以判断螺丝是否锁紧,增加一次视觉检查也未必能放行合格件。

机器人等指令的时间也要算进去

恢复带来的收益要和等待一起看。白皮书在另一项垃圾分拣实验中记录了YAM双臂机器人的耗时。规划智能体同时给出文字指令和画面标记时,单轮用时中位数为186秒,机器人约38%的时间在等智能体。只给文字指令时,等待占比为29%,单轮用时中位数却是306秒。

等待比例较高的一组整体反而更快。白皮书记载,只给文字指令时,错抓和错放占用了后续步骤,有些物品最后没来得及尝试分拣。两组数字来自分拣,装配的节拍仍需要单独测量。工位上的判断要看每小时合格件数,也要记录失败件是自动恢复、重新加工,还是需要停机请人处理。

对做机器人集成和质检的创业团队,投黑马更看重可以跟客户一起复核的故障清单。试点可以固定同一设备、同一物料和同一班次,比较接入恢复程序前后的每千次人工接管次数、停机分钟数和误放行件数。再把传感器、算力、工位改造和维护纳入每件合格品的成本,才能判断客户有没有理由为恢复能力付费。

验收时也可以故意放偏一件物料,或者用测试件模拟螺丝未锁紧,让系统在可控条件下遇到异常。工厂和集成商可提前约定重试次数、停机条件和交接给人工的方式。这样即使一个异常无法自动恢复,也能知道机器会在哪一步停下。

厂商已经公布了哪些应用进展

英伟达公告提到,Nexuni在测试机器人处理洗衣物料,富士康在服务器制造自动化中应用这项技术,西门子在评估工业场景。独立行业报道核对了这些表述,目前缺少公开的产线位置、生产节拍和持续运行数据。玩具实验由英伟达团队完成,公开材料支持对实验结果的核对,第三方产线复测仍待公布。

GR00T 2的研究页将代码开放时间列为12月,权重、许可与部署条件要等实际交付后逐项核验。当前最适合跟踪的是已有机械臂、故障类型可归类且合格标准可测的工位。接下来可以看同一套恢复程序在换物料、换夹具后还保留多少效果,以及恢复一次耗费的时间能否低于人工到场重置的时间。

── 投黑马研究团队