Zoom 的定制 AI 头像工具可能存在风险

Zoom 的定制 AI 头像工具可能存在风险

Zoom 希望将你变成一个由 AI 动画制作的、逼真的头像——但要等到明年某个时候。

今天,Zoom 在年度开发者大会上宣布了即将推出的功能,该功能将把用户录制的自己的视频片段转换成数字克隆体,包括头部、上臂和肩膀。用户可以输入脚本,写下他们希望数字克隆体说的话,Zoom 将生成与虚拟形象的唇部动作同步的音频。

Zoom 首席产品官斯米塔·哈希姆 (Smita Hashim) 表示,自定义头像旨在帮助人们以“更快、更高效”的方式与同事“异步”聊天。

Hashim 表示:“虚拟形象可以帮助用户节省录制视频的宝贵时间和精力,并使他们能够扩大视频创作规模。”

然而,它们也可能带来深度伪造的风险。

许多公司已经开发出人工智能技术,以数字方式“克隆”人的脸部,并将克隆的脸部与听起来相当自然的合成语音配对。例如,Tavus帮助品牌为个性化视频广告创建虚拟人物微软去年推出了一项服务,可以为人生成令人信服的数字替身。

但许多此类工具都实施了具体的、严格的保护措施,以防止滥用。Tavus 要求提供口头同意声明,而微软则要求其客户获得任何特色头像人才的书面许可和同意。

Zoom 对其安全措施的表述比较模糊。

哈希姆指出,Zoom 的使用政策禁止滥用,并表示公司正在其自定义头像功能中构建“众多保护措施”,包括“高级身份验证”和水印。

Hashim 表示:“我们将继续审查并根据需要在未来增加保障措施。我们采用(…)技术来明确显示视频片段是否由虚拟形象生成,以及(…)帮助确保虚拟形象生成内容的完整性。”

Zoom 的数字形象与首席执行官袁征的更广阔愿景相一致,即创建未来有一天可以在 Zoom 会议上为您发言、回复电子邮件和接听电话的人工智能。

但这些相似之处出现的时候,深度伪造正在社交媒体上像野火一样蔓延,使得区分真相和虚假信息变得更加困难。

今年到目前为止,以 总统乔·拜登、泰勒·斯威夫特和副总统卡马拉·哈里斯为主角的深度伪造视频已经获得了数百万的观看和转发。最近,在飓风海伦过后,网络上充斥着大量用人工智能生成的破坏和人类苦难的假图像。

Deepfakes 还被用来针对个人,例如冒充亲人。根据FTC 的数据,去年与冒充诈骗相关的损失超过 10 亿美元。

Zoom 究竟将如何防止诈骗者利用其工具生成视频,让别人说出他们没有说过的话,以达到恶意目的?目前尚不清楚。该公司提供的模型显示,自定义头像视频的右上角有一个可见的水印。但这样的水印很容易被屏幕录制工具裁剪掉。

我们希望在 2025 年上半年了解更多信息,届时 Zoom 计划发布其异步视频工具Zoom Clips的自定义头像,作为每位用户每月 12 美元的高级附加组件的一部分。

无论 Zoom 最终采取或不采取什么措施,监管部门都在不断努力,试图击退大量深度伪造视频的泛滥。

在美国联邦层面没有法律将深度伪造定为犯罪的情况下,已有 10 多个州颁布了针对人工智能辅助模仿的法规。加利福尼亚州的法律(目前处于停滞状态)将是第一部赋予法官权力命令深度伪造发布者将其删除,否则可能面临罚款的法律。

原创文章,作者:王 浩然,如若转载,请注明出处:https://www.dian8dian.com/zoom-de-ding-zhi-ai-tou-xiang-gong-ju-ke-neng-cun-zai-feng

Like (0)
王 浩然的头像王 浩然作者
Previous 2024年10月12日
Next 2024年10月12日

相关推荐

发表回复

Please Login to Comment