原文通达：icra-research-robotics-simulation-to-real-world

在海外机器东说念主和自动化会议上，八篇新的英伟达议论论文展示了流程模拟陶冶的机器东说念主是何如参加执行寰宇的。

机器东说念主技能正在参加一个新阶段：从受控演示和剧本自动化转向执行寰宇中可彭胀、可靠的体现自主。

在海外机器东说念主和自动化会议（ICRA）上，NVIDIA Research 的 28 篇被罗致的论文中有 8 篇展示了模拟到执行的传输何如成为这种蜕变的基础，匡助机器东说念主在动态、不成忖度的环境中感知、推理、计算和举止。

这些论文共同涵盖了机器东说念主诱惑东说念主员面对的挑战：并行和解多个手臂，构建跨机器东说念主躯壳通用的计策，在参差中收拢新事物，彭胀精准的拼装，以及诱惑在迁移前推理的视觉 - 讲话 - 手脚模子。

通说念很了了：sim-to-real 正在成為機器东说念主的基礎，這些機器东说念主不错在實驗室外以更高的可靠性進行適應、轮廓和操作。

想象一下一个由机械臂运行的制药实验室：拾取试管、转动液体、夹杂试剂——每个门径齐需要不同的时候，齐需要仔细和解。

传统的机器东说念主转化软件按律例处理这些门径，一次一个手臂。

ScheduleStream 透過在 GPU 上執行計算來改變這一點，讓多個手臂計劃移動並行操作。成果——在 NVIDIA Jetson edge AI 平台等硬件上，跨多臂假想场景加速了 3 倍的速率。框架的代码不错在 GitHub 上找到。

一个学习在空间中导航的机器东说念主——躲避繁忙物并找到计算地——世俗学会在一个躯壳中作念到这少量。将探求的导航软件放入时势不同的机器东说念主中，它频频会散架，因为它的部件齐以不同的形势迁移。

COMPASS 计策框架通过领先使用师法学习构建基线导航功能，然后使用 NVIDIA Isaac Lab 中的剩余强化学习来为各式机器东说念主达成构建行家来责罚这个问题。至关枢纽的是，任何阶段齐不触及执行寰宇的机器东说念主数据：一切齐在 Isaac Lab 模拟中进行陶冶。

与师法学习基线比拟，COMPASS 的平均到手率提高了 4.5 倍。它还无缝传输到执行寰宇环境，在自主迁移机器东说念主和东说念主形的 20 次执行寰宇导航覆按中展示了约 80% 的到手。

COMPASS 对代理友好，具有有益的手段——诱惑东说念主员不错将管说念与 NVIDIA Omniverse NuRec 市欢起来，以便在部署前在新环境的数字孪生中对机器东说念主进行后陶冶和考据。

大多数抓取系统识别对象，忖度抓取，假想旅途，然后彭胀。但终末几厘米是小缝隙最枢纽的场所。

Grasp-MPC 自合乎地计较机器东说念主抓取，在机器东说念主长入物体时束缚校正其带领，而不是彭胀固定计算——一个东说念主通过嗅觉而不是提前计较每个枢纽角度来抓取东西的形势。

为了制定该计策，议论东说念主员使用 GraspGen 数据集的刺目和来自 cuRobo（用于机器东说念主带领生成的 CUDA 加速库）的带领假想数据，在 8000 个物体上生成了 200 万个物体的模拟轨迹。

在对到手和失败轨迹进行培训后，Grasp-MPC 学会了在参差的桌面和架子上掌抓新颖的物体——在实在机器东说念主上得到了约 75% 的总体到手率，而基线为 41%。

可变形聚类操作引入了一个框架，该框架应答了一个平行挑战：使系统大略同期抓取通盘活泼、纠结的材料，而不单是是一个对象。

该框架的动机是一个执行寰宇的任务：撤消滋长在电力线上的大齐树枝，那里莫得干净的物体不错收拢。系统使用通盘手臂，而不单是是抓手：将其缠绕在分支集群上，然后将其扫到一边，就像有东说念主可能汇积存一臂的电缆或将纠结的刷子推开的形势。

议论东说念主员使用生物滋长方程构建了一个树生成器，以创建很多不同时势和大小的合成树——然后在 NVIDIA Isaac 通达模拟框架中陶冶了数千棵树的系统。

该计策部署到真确的分支零射击。除了电力线以外，凤凰彩票中国官网入口议论东说念主员还看到了电缆管制、农业检讨以及机器东说念主需要处理纠结而不是单个可抓取物品的任何场所的后劲。

在零射击模拟到实在部署中撤消树枝。

精准的拼装——将螺母穿入螺栓上，将齿轮插入齿轮轴，将钉子压入孔中——仅通过模拟是出了名的难。

执行寰宇是复杂的。真确的名义并不完好光滑。传感器的步履不按章程进行。模拟器忽略的眇小互异可能会禁绝机器东说念主的脚步。

SPARR 步伐通过将责任一分为二来责罚这一问题。在 Isaac Lab 中陶冶的策略学习模拟中拼装任务的一般策略。然后，在本色硬件上，第二层学会校正模拟器出错的任何东西——使用机器东说念主我方的相机，无需任何东说念主类演示或带领。

与零射击模拟到实在基线比拟，SPARR 的到手率提高了 38%，周期时候裁汰了约 30%。

在培训时间莫得看到的国度圭臬与技能议论所（NIST）拼装任务上，到手率提高了近 75% ——接近需要东说念主工参与的步伐的成果。

真金不怕火油厂框架在安装中具有下一层难度：具有多个律例门径的任务，其中第一步的完成进度决定了第二步是否可能。这就像拼装产物相通——将面板放在缝隙的角度，下一个紧固件就进不去。

通过了解到手何如因驱动条款而异，以及数百个模拟拼装场景中的培训，真金不怕火油厂学习何如完成每个门径，并将每个组件留鄙人一个成立的位置。与执行寰宇成果卓越可比的基线比拟，它达成了 91% 的模拟到手率和近 11% 的平均创新——其计策不错串联在一齐处理冗长的多部分序列。

PEEK 管说念匡助机器东说念主看到零七八碎的东西。在典型的操作任务中，机器东说念主的相契机捕捉到场景中的通盘内容——但其中大部分是不足轻重的杂音。

PEEK 技俩页面上展示的一项任务是“把香蕉交给英伟达首创东说念主兼首席彭胀官黄仁”：一张黄的像片与迈克尔 · 乔丹的像片一齐放在桌子上，这是一组不干系的物体和其他漫衍防卫力的东西。

完成任務的东说念主立即專注於香蕉和正確的像片；標準的機器东说念主计策必須處理一切，並且經常感到困惑。PEEK 通过让视觉讲话模子读取任务领导并相应地聚焦机器东说念主的视野来责罚这个问题——领会带领旅途，并凸起领会枢纽物体周围，同期淡化其他一切。

然后，该计策凭据刺想法不雅点行事，而不是原始场景。关于纯正在模拟中陶冶的计策，添加 PEEK 的准确性比执行寰宇提高了 41 倍。关于大型 VLA 模子和较小的计策，收益边界为 2-3.5 倍。由于它在图像级别责任，PEEK 无需修改即可与任何基于相机的策略集成。

言出所力——与卡内基梅隆大学、犹他大学和悉尼大学的议论东说念主员互助——责罚了机器东说念主处理更长、更复杂的任务时更枢纽的特定故障花式。

给机器东说念主一个领导，比如“把通盘东西齐放在柜子里的这个桌子上”或“准备曼哈顿”，它必须将其理解成单独的门径，并按律例彭胀它们。

问题是，东说念主工智能模子不错正确推理它需要作念的事情——然后彭胀一些不同的东西。

这种称为 SEAL 的步伐在运行时缔造了这少量，无需任何再陶冶：机器东说念主生成几个候选手脚序列，念念考每个手脚序列本色上会引导到那处，并选择与它所说的成果相匹配的成果。与之前的责任比拟，SEAL 提供了高达 15% 的精度擢升，对改写领导、改造对象、场景参差和迁移相机角度具有隆重性。

除了论文以外，英伟达还通过机器东说念主的大限制通达数据集扩展机器东说念主议论基础设施。NVIDIA 物理东说念主工智能数据集是寰宇上最大的物理诱惑通达数据集，下载量跨越 1500 万次，而 NVIDIA Isaac GR00T X Embodiment Sim 已成为下载量最大的机器东说念主数据集之一。

雷峰网 凤凰彩票中国官网入口