自2022 年底首批模型首次亮相以来,人工智能视频在过去几年中取得了令人难以置信的进步,其真实感、分辨率、保真度、提示依从性(与用户输入的文本提示或视频描述的匹配程度)和数量都有所提升。
但对许多 AI 视频创作者来说,仍然存在一个限制,那就是如何描绘 AI 生成角色的真实面部表情。大多数看起来相当有限且难以控制。
但现在情况已不再如此:今天,总部位于纽约、由谷歌等公司支持的人工智能初创公司Runway宣布了一项新功能“Act-One”,该功能允许用户使用任何摄像机(甚至是智能手机上的摄像机)录制自己或演员的视频,然后以惊人的精度将拍摄对象的面部表情转换为人工智能生成的角色。
根据Runway 关于该功能的博客文章,该免费使用的工具将从今天开始“逐步”向用户推出。
虽然任何拥有 Runway 帐户的人都可以访问它,但仅限于那些拥有足够积分的人,他们能够在该公司今年早些时候推出的Gen-3 Alpha 视频生成模型上生成新视频,该模型支持文本到视频、图像到视频和视频到视频的 AI 创建管道(例如,用户可以输入场景描述,上传图像或视频,或使用这些输入的组合,然后 Gen-3 Alpha 将使用给定的内容来指导其生成新场景)。
尽管在发布本文时该功能目前可用性有限,但网上蓬勃发展的 AI 视频创作者已经对这一新功能表示赞赏。
正如Allen T.在他的 X 账户上所说“这是一个游戏规则的改变者!”
上个月, Runway 刚刚进军好莱坞电影制作,宣布已与《疾速追杀》和《饥饿游戏》系列电影的制作公司狮门影业签署协议,根据该工作室超过 20,000 个影片的目录创建定制的 AI 视频生成模型。
简化传统复杂且设备繁重的创作过程
传统上,面部动画需要大量且通常繁琐的过程,包括动作捕捉设备、手动面部装配和多个参考镜头。
任何对电影制作感兴趣的人可能都曾在片场或观看特效繁多、动作捕捉程度很高的电影(如《指环王》系列、《阿凡达》或《猩球崛起》)的幕后花絮时,看到过这个过程的复杂性和难度,在这些电影中,演员们浑身沾满乒乓球标记,脸上也点缀着标记,并被头戴式装置遮挡。
正如报道所指出的,准确模拟复杂的面部表情促使大卫芬奇和他的《本杰明巴顿奇事》制作团队开发出全新的 3D 建模流程,并最终为他们赢得了奥斯卡奖。
然而在过去几年中,新的软件和基于人工智能的初创公司(例如Move)一直在寻求减少进行精确动作捕捉所需的设备——尽管该公司主要专注于全身、更广泛的动作,而 Runway 的 Act-One 则更专注于建模面部表情。
Runway 的目标是通过 Act-One 让这一复杂过程变得更加简单。借助这一新工具,创作者可以以各种风格和设计制作动画角色,而无需动作捕捉设备或角色绑定。
相反,用户可以依靠简单的驾驶视频将表演(包括视线、微表情和细微的节奏)转换到生成的角色上,甚至是不同风格的多个角色上。
正如 Runway在其 X 账户上所写: “Act-One 能够将单个输入视频中的表演转化为无数不同的角色设计和许多不同的风格。”
Runway 联合创始人兼首席执行官克里斯托巴尔·巴伦苏埃拉 (Cristóbal Valenzuela) 通过 X 上的直接消息回答了 VentureBeat 的问题,他表示,该功能“目前主要”集中在脸部。
Runway 的方法为动画师、游戏开发者和电影制作人提供了显著的优势。该模型准确地捕捉了演员表演的深度,同时又能适应不同的角色设计和比例。这为创造能够表达真实情感和个性的独特角色开辟了令人兴奋的可能性。
跨摄影角度的电影真实感
Act-One 的主要优势之一在于它能够从各种摄像机角度和焦距提供电影质量的逼真输出。
这种灵活性增强了创作者通过角色表演讲述情感共鸣故事的能力,而这在以前如果没有昂贵的设备和多步骤的工作流程是很难实现的。
即使在复杂的场景中,该工具也能忠实捕捉演员的情感深度和表演风格。
这种转变使得创作者能够以新的方式赋予他们的角色生命,从而释放真人和动画形式中更丰富的故事叙述的潜力。
虽然 Runway 之前支持视频到视频的 AI 转换(如本文前面所提到的),它确实允许用户上传自己的镜头,并让 Gen-3 Alpha 或其他之前的 Runway AI 视频模型(如 Gen-2)使用 AI 效果“重新设计”它们,但新的 Act-One 功能针对面部映射和效果进行了优化。
正如 Valenzuela 通过 X 上的 DM 告诉的那样:“Act-One 的一致性和性能无与伦比。”
实现更广泛的视频叙事
现在,单个演员只需使用消费级相机就可以扮演多个角色,模型会为每个角色生成不同的输出。
这种能力将改变叙事内容的创作,特别是在独立电影制作和数字媒体领域,因为这些领域的高端制作资源通常有限。
在X 的一篇公开帖子中,Valenzuela 指出了行业对生成模型的态度转变。“我们现在已经不再问自己生成模型是否可以生成一致的视频。一个好的模型现在是新的基准。区别在于你用模型做什么——你如何看待它的应用和用例,以及你最终构建什么,”Valenzuela 写道。
公众人物冒充的安全与保护
与 Runway 发行的所有影片一样,Act-One 也配备了全面的安全措施。
这些措施包括检测和阻止未经授权生成公众人物内容的企图的安全措施,以及验证语音使用权的技术工具。
持续的监控还可确保平台得到负责任的使用,防止工具的潜在滥用。
Runway 对道德发展的承诺与其更广泛的使命相一致,即扩大创造可能性,同时高度重视安全和内容审核。
展望
随着 Act-One 的逐步推出,Runway 迫切希望看到艺术家、电影制作人和其他创作者如何利用这一新工具将他们的想法变成现实。
借助 Act-ne,更广泛的创作者群体现在可以接触到复杂的动画技术,从而让更多人探索新的叙事和艺术表达形式。
通过减少传统上与角色动画相关的技术障碍,该公司希望激发整个数字媒体领域的全新创造力。
这也有助于 Runway 脱颖而出,使其 AI 视频创作平台与越来越多的竞争对手区分开来,包括美国的Luma AI 、中国的Hailuo和Kling,以及Genmo 的 Mochi 1等开源竞争对手。
原创文章,作者:王 浩然,如若转载,请注明出处:https://www.dian8dian.com/zhe-shi-yi-ge-you-xi-gui-ze-de-gai-bian-zhe-runway-fa-bu