机器人初创公司1X Technologies开发了一种新的生成模型，可以大大提高在模拟中训练机器人系统的效率。该公司在一篇新博客文章中宣布了这一模型，它解决了机器人技术的一个重要挑战，即学习“世界模型”，这种模型可以预测世界如何响应机器人的动作而发生变化。
考虑到在物理环境中直接训练机器人的成本和风险，机器人专家通常使用模拟环境来训练其控制模型，然后再将其部署到现实世界中。然而，模拟和物理环境之间的差异带来了挑战。
地理位置智能对营销人员的强大作用
1X Technologies 人工智能副总裁 Eric Jang 告诉 VentureBeat：“机器人专家通常手工编写场景，这些场景是现实世界的‘数字孪生’，并使用 Mujoco、Bullet、Isaac 等刚体模拟器来模拟其动态。”“然而，数字孪生可能存在物理和几何不准确性，导致在一个环境中进行训练，在另一个环境中部署，从而造成‘模拟到现实的差距’。例如，您从互联网上下载的门模型的把手弹簧刚度不太可能与您测试机器人的实际门相同。”
生成世界模型
为了弥补这一差距，1X 的新模型通过对直接从机器人收集的原始传感器数据进行训练来学习模拟现实世界。通过查看从公司自己的机器人收集的数千小时的视频和执行器数据，该模型可以查看当前对世界的观察并预测如果机器人采取某些行动会发生什么。
这些数据是从EVE 人形机器人收集的，它们在家里和办公室里执行各种移动操作任务并与人互动。
“我们在各个 1X 办公室收集了所有数据，并组建了一支 Android 操作员团队，帮助注释和过滤数据，”Jang 说道。“通过直接从真实数据中学习模拟器，随着交互数据量的增加，动态应该会更接近现实世界。”
学习世界模型对于模拟物体交互特别有用。该公司分享的视频显示，该模型成功预测了机器人抓取盒子的视频序列。据 1X 称，该模型还可以预测“非平凡的物体交互，如刚体、掉落物体的影响、部分可观察性、可变形物体（窗帘、衣物）和铰接物体（门、抽屉、窗帘、椅子）”。
一些视频展示了该模型如何模拟复杂的长视界任务，例如折叠衬衫等可变形物体。该模型还模拟了环境的动态，例如如何避开障碍物并与人保持安全距离。
生成模型的挑战
环境变化仍将是一个挑战。与所有模拟器一样，生成模型需要随着机器人运行环境的变化而更新。研究人员认为，模型学习模拟世界的方式将使更新变得更加容易。
“如果训练数据过时，生成模型本身可能存在模拟到真实之间的差距，”Jang 说道。“但这个想法是，因为它是一个完全学习的模拟器，所以从现实世界输入新数据将修复模型，而无需手动调整物理模拟器。”
1X 的新系统受到OpenAI Sora和Runway等创新的启发，这些创新表明，借助正确的训练数据和技术，生成模型可以学习某种世界模型并保持一致性。
然而，虽然这些模型旨在从文本生成视频，但 1X 的新模型属于生成系统趋势的一部分，这些系统可以在生成阶段对动作做出反应。例如，谷歌的研究人员最近使用类似的技术来训练可以模拟游戏 DOOM 的生成模型。交互式生成模型可以为训练机器人控制模型和强化学习系统开辟无数可能性。
然而，生成模型固有的一些挑战在 1X 提出的系统中仍然存在。由于该模型不是由明确定义的世界模拟器驱动的，因此有时会产生不切实际的情况。在 1X 分享的例子中，该模型有时无法预测物体悬在空中时会掉落。在其他情况下，物体可能会从一帧消失到另一帧。应对这些挑战仍然需要付出大量努力。
一个解决方案是继续收集更多数据并训练更好的模型。“过去几年，我们看到生成视频建模取得了显著进展，OpenAI Sora 等成果表明，扩展数据和计算可以走得很远，”Jang 说道。
与此同时，1X 还通过发布其模型和权重来鼓励社区参与这项工作。该公司还将发起竞赛来改进模型，并为获胜者提供奖金。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/1x-fa-bu-sheng-cheng-shi-jie-mo-xing-lai-xun-lian-ji-qi-ren
