英特尔实验室的研究人员与学术界和行业专家合作，推出了一项突破性技术，可以从稀疏的多模态输入中生成逼真且可引导的人体运动。他们的工作在欧洲计算机视觉会议(ECCV 2024) 上亮相，重点是克服在高维人形角色中生成自然、基于物理的人类行为的挑战。这项研究是英特尔实验室推动计算机视觉和机器学习的更广泛计划的一部分。
英特尔研究院及其合作伙伴最近在欧洲计算机视觉协会（ECVA）组织的顶级会议ECCV 2024 上发表了六篇前沿论文。
论文《从多模态输入生成物理上逼真且可定向的人体运动》展示了多项创新，包括一种新颖的防御策略，用于保护文本转图像模型免受基于提示的红队攻击，以及开发一个旨在提高这些模型空间一致性的大规模数据集。在这些贡献中，该论文强调了英特尔致力于推进生成式建模，同时优先考虑负责任的 AI实践。
使用多模式输入生成逼真的人体运动
英特尔的蒙面人形控制器 (MHC) 是一款突破性的系统，旨在在模拟物理环境中生成类似人类的动作。与严重依赖完整详细动作捕捉数据的传统方法不同，MHC 旨在处理来自各种来源的稀疏、不完整或部分输入数据。这些来源可能包括 VR 控制器（可能仅跟踪手部或头部运动）；操纵杆输入（仅提供高级导航命令）；视频跟踪（某些身体部位可能被遮挡）；甚至来自文本提示的抽象指令。
该技术的创新之处在于它能够解释和填补数据缺失或不完整的空白。它通过英特尔所谓的“追赶、结合和完成”（CCC）功能实现这一点：
- 追赶：此功能允许 MHC 在发生中断时恢复并重新同步其运动，例如当系统以失败状态启动时，例如人形角色摔倒。系统可以快速纠正其动作并恢复自然运动，而无需重新训练或手动调整。
- 组合：MHC 可以将不同的动作序列混合在一起，例如将一个动作（例如挥手）的上半身动作与另一个动作（例如行走）的下半身动作合并。这种灵活性允许从现有动作数据生成全新的行为。
- 完整：当给定稀疏输入（例如部分身体运动数据或模糊的高级指令）时，MHC 可以智能地推断并生成动作的缺失部分。例如，如果仅指定手臂动作，MHC 可以自主生成相应的腿部动作以保持身体平衡和真实感。
最终形成了一个高度适应性的动作生成系统，即使指令不完整或指定不足，也可以创建流畅、逼真且物理准确的动作。这使得 MHC 成为游戏、机器人、虚拟现实以及任何需要高质量类人动作但输入数据有限的场景的理想选择。
MHC 对生成运动模型的影响
蒙面人形控制器 (MHC) 是英特尔实验室及其合作伙伴为负责任地构建生成模型而做出的更广泛努力的一部分，包括那些支持文本转图像和3D 生成任务的模型。正如 ECCV 2024 上所讨论的那样，这种方法对机器人、虚拟现实、游戏和模拟等行业具有重要意义，因为生成逼真的人体运动至关重要。通过整合多模式输入并使控制器能够在动作之间无缝过渡，MHC 可以处理传感器数据可能存在噪声或不完整的现实世界情况。
英特尔实验室的这项工作与 ECCV 2024 上展示的其他先进研究相得益彰，例如他们对文本转图像模型的新颖辩护以及改进图像生成空间一致性的技术开发。这些进步共同展示了英特尔在计算机视觉领域的领导地位，重点是开发安全、可扩展且负责任的 AI 技术。
结论
英特尔实验室与学术合作伙伴共同开发的蒙面人形控制器 (MHC) 代表着人类动作生成领域迈出的重要一步。通过解决从多模态输入生成逼真动作的复杂控制问题，MHC 为虚拟现实、游戏、机器人和模拟领域的新应用铺平了道路。这项研究在 ECCV 2024 上展出，表明英特尔致力于推进负责任的人工智能和生成建模，为各个领域的更安全、更具适应性的技术做出贡献。
原创文章，作者：点点，如若转载，请注明出处：https://www.dian8dian.com/ying-te-er-meng-mian-ren-xing-kong-zhi-qi-yi-zhong-shi-xian
