2024 年，深度伪造事件激增，预计今年将增加 60% 或更多，全球案件将达到15 万起或更多。这使得人工智能驱动的深度伪造攻击成为当今增长最快的对抗性人工智能类型。德勤预测，到 2027 年，深度伪造攻击将造成超过400 亿美元的损失，银行和金融服务将成为主要目标。
人工智能生成的语音和视频伪造模糊了可信度的界限，掏空 了人们对机构和政府的信任。深度伪造技术在国家网络战组织中如此普遍，以至于在不断交战的网络战国家中，它已经发展成为一种成熟的攻击策略。
“在今天的选举中，人工智能的进步，例如生成式人工智能或深度伪造，已经从单纯的虚假信息演变为复杂的欺骗工具。人工智能使得区分真实信息和虚假信息变得越来越困难，”Ivanti 首席产品官 Srinivas Mukkamala表示。
62%的首席执行官和高级企业高管认为，深度伪造将在未来三年内为其组织带来至少一些运营成本和麻烦，而 5% 的人认为这是一种生存威胁。Gartner预测，到 2026 年，使用人工智能生成的深度伪造面部生物识别技术进行攻击将意味着 30% 的企业将不再认为此类身份验证和身份验证解决方案在单独情况下是可靠的。
“Ivanti 最近开展的一项研究表明，超过一半的办公室工作人员 (54%) 并不知道先进的人工智能可以模仿任何人的声音。考虑到这些人将参加即将到来的选举，这一统计数据令人担忧，”Mukkamala 说道。
美国情报界2024 年威胁评估指出，“俄罗斯正在利用人工智能制作深度伪造作品，并正在开发欺骗专家的能力。战区和不稳定政治环境中的个人可能成为此类深度伪造恶意影响的一些最高价值目标。”深度伪造已经变得如此普遍，以至于国土安全部发布了一份指南，《深度伪造身份的威胁日益增加》 。
GPT-4o 如何检测深度伪造
OpenAI 的最新模型GPT-4o旨在识别和阻止这些日益增长的威胁。正如 8 月 8日发布的系统卡上所描述的那样，它是一个“自回归全向模型，可以接受文本、音频、图像和视频的任意组合作为输入” 。OpenAI 写道：“我们只允许模型使用某些预先选择的声音，并使用输出分类器来检测模型是否偏离了该声音。”
识别潜在的深度伪造多模态内容是 OpenAI 设计决策的优势之一，这些决策共同定义了 GPT-4o。值得注意的是，该模型进行了大量的红队测试，这是业界最近发布的 AI 模型中最广泛的模型之一。
所有模型都需要不断地从攻击数据中进行训练和学习，以保持优势，尤其是在应对攻击者与合法内容难以区分的深度伪造技术时。
下表说明了 GPT-4o 功能如何帮助识别和阻止音频和视频深度伪造。
检测和阻止深度伪造的关键 GPT-4o 功能
该模型具有以下可增强其识别深度伪造能力的关键特征：
生成对抗网络 (GAN) 检测。攻击者用来制作深度伪造视频的技术 GPT-4o 可以识别合成内容。OpenAI 的模型可以识别内容生成过程中以前难以察觉的差异，甚至 GAN 也无法完全复制这些差异。例如，GPT-4o 分析了光与视频片段中物体交互的缺陷或语音音调随时间变化的不一致。4o 的 GANS 检测突出显示了这些肉眼或耳朵无法察觉的微小缺陷。
GAN 通常由两个神经网络组成。第一个是生成器，用于生成合成数据（图像、视频或音频），第二个是鉴别器，用于评估其真实性。生成器的目标是提高内容的质量以欺骗鉴别器。这种先进的技术可以制作出与真实内容几乎无法区分的深度伪造作品。
语音认证和输出分类器。GPT -4o 架构最有价值的功能之一是其语音认证过滤器。该过滤器将每个生成的语音与预先批准的合法语音数据库进行交叉引用。此功能的迷人之处在于该模型如何使用神经语音指纹来跟踪 200 多个独特特征，包括音调、节奏和重音。如果检测到任何未经授权或无法识别的语音模式，GPT-4o 的输出分类器会立即关闭该过程。
多模态交叉验证。OpenAI的系统卡在 GPT-4o 架构中全面定义了此功能。4o 实时处理文本、音频和视频输入，交叉验证多模态数据是否合法。如果音频与预期的文本或视频上下文不匹配，GPT4o 系统会对其进行标记。红队成员发现这对于检测 AI 生成的口型同步或视频模仿尝试尤其重要。
针对首席执行官的 Deepfake 攻击日益增多
仅今年一年，就有数千起针对 CEO 的深度伪造尝试，其中针对全球最大广告公司 CEO 的尝试表明攻击者正变得多么老练。
另一起攻击发生在 Zoom 上，通话中有多位深度伪造的身份，包括该公司的首席财务官。据称，一家跨国公司的一名财务人员在 Zoom 通话中被其首席财务官和高级职员的深度伪造身份欺骗，授权转账 2500 万美元。
在最近与《华尔街日报》举行的技术新闻发布会上，CrowdStrike首席执行官乔治·库尔茨 (George Kurtz) 解释了人工智能的改进如何帮助网络安全专业人员保护系统，同时也评论了攻击者如何使用人工智能。库尔茨与《华尔街日报》记者达斯汀·沃尔兹谈论了人工智能、2024 年美国大选以及中国和俄罗斯构成的威胁。
“如果现在到了 2024 年，我们有能力制作深度伪造视频，我们的一些内部人员制作了一些有趣的恶搞视频，只是为了让我看看这有多可怕，你根本看不出来视频里的人不是我，”库尔茨告诉《华尔街日报》。“所以我认为这是我真正担心的领域之一。人们总是担心基础设施和诸如此类的事情。这些领域，很多仍然是纸质投票之类的。有些不是，但你如何创造虚假的叙述来让人们做民族国家希望他们做的事情，这才是我真正担心的领域。”
信任和安全在人工智能时代的关键作用
OpenAI 的优先设计目标和将音频、视频和多模式内容的假冒检测放在首位的架构框架反映了新一代人工智能模型的未来。
Telesign首席执行官 Christophe Van de Weyer 表示：“过去一年，人工智能的出现将数字世界中信任的重要性推到了风口浪尖。随着人工智能的不断发展和普及，我们必须优先考虑信任和安全，以保护个人和机构数据的完整性。在 Telesign，我们致力于利用人工智能和机器学习技术打击数字欺诈，确保为所有人提供更安全、更值得信赖的数字环境。”
预计 OpenAI 将扩展 GPT-40 的多模态功能，包括通过 GAN 进行语音身份验证和深度伪造检测，以识别和消除深度伪造内容。随着企业和政府越来越依赖人工智能来增强运营，像 GPT-4o 这样的模型对于保护他们的系统和保障数字互动至关重要。
Mukkamala强调道：“总而言之，怀疑是抵御深度伪造的最佳防御手段。我们必须避免只从表面理解信息，并批判性地评估其真实性。”
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/gpt4o-ru-he-bao-hu-ni-de-shen-fen-mian-shou-ren-gong-zhi
