在AI与机器人技术的融合日益紧密的今天，Nvidia推出了一项革命性的技术——Cosmos-Transfer1，这款创新的AI模型为开发者提供了一个前所未有的平台，用于创建高度逼真的模拟环境，以训练机器人和自动驾驶车辆。通过Hugging Face平台，Nvidia将这一先进技术开放给全球开发者，旨在解决物理AI开发中模拟环境与现实应用之间的鸿沟问题。
Cosmos-Transfer1：重塑AI模拟技术的未来
Nvidia的研究人员在随模型发布的论文中指出：“我们引入了Cosmos-Transfer1，这是一个条件世界生成模型，能够根据多种空间控制输入（如分割、深度和边缘）生成世界模拟。这实现了高度可控的世界生成，并适用于多种世界到世界的迁移用例，包括Sim2Real（从模拟到现实）。”
与传统模拟模型不同，Cosmos-Transfer1引入了一个自适应的多模态控制系统，允许开发者在不同场景部分对不同的视觉输入（如深度信息或物体边界）进行不同的权重分配。这一突破性的设计使得开发者能够对生成的环境进行更精细的控制，显著提升了模拟环境的真实感和实用性。
自适应多模态控制：AI模拟技术的新纪元
在物理AI系统的传统训练方法中，开发者要么需要收集大量的真实世界数据——这既昂贵又耗时，要么使用缺乏复杂性和真实世界变异性的模拟环境。Cosmos-Transfer1通过允许开发者利用多模态输入（如模糊视觉、边缘检测、深度图和分割）来生成逼真的模拟，同时保留原始场景的关键特征并添加自然变异，从而解决了这一难题。
“在设计上，空间条件方案是自适应和可定制的，”研究人员解释道，“它允许在不同空间位置对不同条件输入进行不同的权重分配。”这一功能在机器人技术中尤为重要，因为开发者可能希望在保持对机器人手臂外观和运动的精确控制的同时，对生成多样化的背景环境给予更多的创作自由。对于自动驾驶车辆而言，它则能够在保持道路布局和交通模式的同时，变化天气条件、照明或城市设置。
物理AI应用的革命：从机器人到自动驾驶
Ming-Yu Liu，该项目的核心贡献者之一，强调了这项技术对于行业应用的重要性。“一个策略模型指导物理AI系统的行为，确保其以安全且符合目标的方式运行，”Liu及其同事在论文中指出，“Cosmos-Transfer1可以被后训练到策略模型中，以生成动作，从而节省手动策略训练的成本、时间和数据需求。”
在机器人模拟测试中，Nvidia研究人员发现，使用Cosmos-Transfer1增强的模拟机器人数据显著提高了逼真度，通过“添加更多场景细节、复杂的阴影和自然照明”同时保持了机器人运动的物理动力学。对于自动驾驶车辆的开发，该模型使开发者能够“最大化真实世界边缘案例的效用”，帮助车辆学会处理罕见但关键的情况，而无需在实际道路上遇到这些情况。
Nvidia的Cosmos平台：为物理AI开发赋能
Cosmos-Transfer1只是Nvidia更广泛的Cosmos平台的一部分，该平台是一套专为物理AI开发设计的世界基础模型（WFMs）。Cosmos平台还包括Cosmos-Predict1用于通用世界生成和Cosmos-Reason1用于物理常识推理。Nvidia表示：“Nvidia Cosmos是一个以开发者为中心的世界基础模型平台，旨在帮助物理AI开发者更好地、更快地构建他们的物理AI系统。”
该平台在Nvidia的GitHub存储库上提供了预训练模型和训练脚本，分别受Nvidia开放模型许可证和Apache 2许可证的约束。这一举措使Nvidia能够抓住物理AI开发工具市场的增长机遇，特别是随着制造业、交通运输业等行业对机器人技术和自动驾驶技术的巨大投资。
实时生成：Nvidia硬件加速下一代AI模拟
Nvidia还展示了Cosmos-Transfer1在其最新硬件上的实时运行能力。研究人员指出：“我们进一步演示了一种推理扩展策略，以在Nvidia GB200 NVL72机架上实现实时世界生成。”该团队在从1个GPU扩展到64个GPU时实现了大约40倍的加速，能够在4.2秒内生成5秒的高质量视频，实现了实时吞吐量。这一在大规模下的性能解决了行业中的另一个关键挑战：模拟速度。快速且逼真的模拟使得测试和迭代周期更加迅速，从而加速了自主系统的开发。
开源创新：为全球开发者赋能
Nvidia决定将Cosmos-Transfer1模型及其底层代码开源发布在GitHub上，这一举措打破了全球开发者获取先进模拟技术的壁垒。通过向小型团队和独立研究人员开放这些工具，Nvidia不仅扩大了其影响力，还可能加速了物理AI开发领域的进步。然而，有效利用这些技术仍然需要专业知识和计算资源，提醒我们在AI开发中，代码本身只是故事的开始。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/nvidia-de-cosmostransfer1-rang-ji-qi-ren-xun-lian-bian-de
