Adobe Research和香港科技大学(HKUST)的一个团队开发了一种人工智能系统，可以改变电影、游戏和交互式媒体的视觉效果的制作方式。
这项名为TransPixar的技术为人工智能生成的视频添加了一项重要功能：能够创建烟雾、反射和空灵效果等透明元素，并将它们自然地融入场景中。目前的人工智能视频工具通常只能生成实心图像，因此 TransPixar 是一项重大的技术成就。
Adobe Research 项目负责人、论文作者之一李逸军表示：“Alpha 通道对于视觉效果至关重要，它可以让烟雾和反射等透明元素无缝融入场景。然而，由于数据集有限，且难以调整现有模型，生成包含透明度 Alpha 通道的 RGBA 视频仍然是一项挑战。”
娱乐、广告和游戏行业对视觉效果的需求不断激增，这一突破来得正是时候。传统的视觉特效工作通常需要艺术家们付出艰苦的手工劳动才能创造出令人信服的透明效果。
TransPixar：为 AI 视觉效果带来透明度
TransPixar 的特别之处在于它能够在使用非常有限的训练数据的情况下保持高质量。研究人员通过开发一种新方法来扩展现有的视频 AI 模型，而不是从头开始构建模型，从而实现了这一点。
“我们引入了用于 alpha 通道生成的新标记，重新初始化它们的位置嵌入，并添加零初始化域嵌入以将它们与 RGB 标记区分开来，”香港科技大学首席作者兼研究员 Luozhou Wang 解释道。“使用基于 LoRA 的微调方案，我们将 alpha 标记投射到 qkv 空间中，同时保留 RGB 质量。”
在演示中，该系统展示了令人印象深刻的效果，只需简单的文本提示就能产生各种效果——从翻腾的风暴云和神奇的门户到破碎的玻璃和滚滚浓烟。该技术还可以用透明效果为静态图像制作动画，为艺术家和设计师开辟了新的创作可能性。
研究团队已在 GitHub 上公开了他们的代码，并在Hugging Face上部署了一个演示，让开发人员和研究人员可以试验这项技术。
为大大小小的创作者转变视觉特效工作流程
早期测试表明，TransPixar 可以让视觉特效制作变得更快、更简单，尤其是对于那些负担不起昂贵特效工作的小型工作室来说。虽然该系统仍然需要强大的计算能力来处理较长的视频，但它对创意产业的潜在影响是显而易见的。
这项技术的意义远不止技术改进。随着流媒体服务需要更多内容，虚拟制作也越来越多，人工智能生成的透明效果可能会改变工作室的运作方式。小团队可以制作曾经需要大型工作室才能制作的效果，而大型制作可以更快地完成项目。
TransPixar 对于实时应用尤其有价值。视频游戏、AR 应用程序和现场制作可以立即创建透明效果，而这在今天需要数小时或数天的工作。
这一进展对 Adobe 来说正值关键时刻，Stability AI和Runway等公司正在竞相开发专业特效工具。各大电影公司已经在寻求利用人工智能来降低成本，TransPixar 的时机非常合适。
娱乐行业面临三大挑战：观众想要更多内容、预算紧张以及特效师不足。TransPixar 提供了一种解决方案，可以更快地制作特效、降低成本并提高质量一致性。
真正的问题不是人工智能是否会改变视觉效果，而是传统的 VFX 工作流程是否还会在五年内存在。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/yan-wu-fan-she-he-ru-kou-adobe-de-transpixar-jiang-ai-vfx
