77%的企业已成为对抗性 AI 攻击的受害者，而电子犯罪分子的突破时间仅用了2 分 7 秒，创下了历史记录。问题不在于您的安全运营中心 (SOC) 是否会成为攻击目标，而是何时成为攻击目标。
由于云入侵在过去一年中飙升了75% ，并且五分之二的企业遭受了与 AI 相关的安全漏洞，每个 SOC 领导者都需要面对一个残酷的事实：您的防御系统必须与攻击者的技术一样快速发展，否则就有可能被无情且足智多谋的对手所占领，这些对手可以在几秒钟内成功发动入侵。
攻击者将生成式人工智能 (gen AI)、社会工程、交互式入侵活动以及对云漏洞和身份的全面攻击结合起来，执行一套策略，试图利用他们能找到的每一个 SOC 弱点。CrowdStrike的《2024 年全球威胁报告》发现，民族国家攻击者正在将基于身份和社会工程的攻击推向新的强度水平。民族国家长期以来一直使用机器学习来策划网络钓鱼和社会工程活动。现在，重点是盗版身份验证工具和系统，包括 API 密钥和一次性密码 (OTP)。
“我们看到的是，威胁行为者真正关注的是……获取合法身份。以合法用户身份登录。然后保持低调，通过使用合法工具自给自足，不被人发现，”CrowdStrike 反对手行动高级副总裁 Adam Meyers 在最近的简报会上表示。
网络犯罪团伙和国家网络战团队不断磨练他们的技巧，以发动基于人工智能的攻击，旨在破坏身份和访问管理 (IAM) 信任的基础。通过利用通过深度伪造的语音、图像和视频数据生成的虚假身份，这些攻击旨在破坏 IAM 系统并在目标组织中制造混乱。
下面的Gartner图表显示了为什么 SOC 团队现在需要为对抗性 AI 攻击做好准备，这种攻击通常采取虚假身份攻击的形式。
展望 2025 年对抗性 AI 威胁形势
Ivanti首席信息官兼高级副总裁 Bob Grazioli说：“随着人工智能的不断发展，我们必须更加了解其对网络安全的影响。”
“毫无疑问，新一代人工智能为网络安全专业人员提供了强大的工具，但也为攻击者提供了先进的能力。为了应对这种情况，需要制定新的策略来防止恶意人工智能成为主导威胁。这份报告有助于组织获得必要的洞察力，以领先于高级威胁并有效保护其数字资产，”Grazioli 说。
Gartner 最近的一项调查显示，73%的企业部署了数百或数千个 AI 模型，而 41% 的企业报告了与 AI 相关的安全事件。根据HiddenLayer的数据，十分之七的公司经历过与 AI 相关的漏洞，其中 60% 与内部威胁有关，27% 涉及针对 AI 基础设施的外部攻击。
Palo Alto Networks首席技术官 Nir Zuk今年早些时候在接受采访时明确阐述了这一点：机器学习假设对手已经在内部，这要求对隐秘攻击做出实时响应。
卡内基梅隆大学的研究人员最近发表了一篇论文《LLM 风险和 AI 护栏的现状》，该论文解释了大型语言模型 (LLM) 在关键应用中的漏洞。它强调了偏见、数据中毒和不可重复性等风险。随着安全领导者和 SOC 团队越来越多地就新的模型安全措施展开合作，这些研究人员倡导的指导方针需要成为 SOC 团队培训和持续发展的一部分。这些指导方针包括部署集成检索增强生成 (RAG) 和态势感知工具的分层保护模型，以对抗对抗性利用。
SOC 团队还承担着新一代 AI 应用的支持负担，包括快速增长的代理 AI 的使用。加州大学戴维斯分校的研究人员最近发表了《AI 代理的安全性》，这项研究探讨了 SOC 团队在 AI 代理执行实际任务时面临的安全挑战。研究人员对威胁进行了解构和分析，包括数据完整性破坏和模型污染，其中对抗性输入可能会损害代理的决策和行动。为了应对这些风险，研究人员提出了一些防御措施，例如让 SOC 团队启动和管理沙盒（限制代理的操作范围）以及保护敏感交互的加密工作流，从而创建一个受控环境来遏制潜在的漏洞。
为什么 SOC 是对抗性 AI 的目标
由于面临警报疲劳、关键员工流动、不完整且不一致的威胁数据，以及旨在保护周边而非身份的系统，SOC 团队在面对攻击者日益增长的 AI 武器库时处于劣势。
金融服务、保险和制造业的 SOC 领导人表示，他们的公司正面临威胁，每天都会收到大量高风险警报。
以下技术重点介绍 AI 模型可能被破坏的方式，一旦被破坏，它们就会提供敏感数据，并可用于转向企业内的其他系统和资产。攻击者的策略侧重于建立立足点，从而实现更深层次的网络渗透。
- 数据中毒：攻击者将恶意数据引入模型的训练集，以降低性能或控制预测。根据 Gartner 2023 年的一份报告，近 30% 的人工智能组织（尤其是金融和医疗保健领域的组织）都经历过此类攻击。后门攻击在训练数据中嵌入特定触发器，导致模型在这些触发器出现在现实世界的输入中时出现错误行为。麻省理工学院 2023 年的一项研究强调，随着人工智能的普及，此类攻击的风险也越来越大，这使得对抗性训练等防御策略变得越来越重要。
- 逃避攻击：这些攻击会改变输入数据以进行错误预测。轻微的图像失真会使模型混淆，从而对对象进行错误分类。一种流行的逃避方法，快速梯度符号法 (FGSM)，使用对抗性噪声来欺骗模型。自动驾驶汽车行业的逃避攻击已引起安全问题，改变后的停车标志会被误解为让行标志。2019 年的一项研究发现，停车标志上的小贴纸会误导自动驾驶汽车认为这是限速标志。腾讯科恩安全实验室使用道路贴纸欺骗特斯拉 Model S 的自动驾驶系统。这些贴纸将汽车驶入错误的车道，这表明精心设计的微小输入变化可能会非常危险。对自动驾驶汽车等关键系统的对抗性攻击是现实世界的威胁。
- 利用 API 漏洞：模型窃取和其他对抗性攻击对公共 API 非常有效，并且对于获取 AI 模型输出至关重要。正如 BlackHat 2022 上提到的那样，许多企业容易受到攻击，因为它们缺乏强大的 API 安全性。包括 Checkmarx 和 Traceable AI 在内的供应商正在自动化 API 发现并终止恶意机器人以减轻这些风险。必须加强 API 安全性以维护 AI 模型的完整性并保护敏感数据。
- 模型完整性和对抗性训练：没有对抗性训练，机器学习模型就会被操纵。然而，研究人员表示，虽然对抗性训练可以提高稳健性，但它需要更长的训练时间，并且可能会以牺牲准确性为代价来获得弹性。虽然存在缺陷，但它是抵御对抗性攻击的重要防御手段。研究人员还发现，混合云环境中糟糕的机器身份管理会增加机器学习模型遭受对抗性攻击的风险。
- 模型反转：这种类型的攻击允许攻击者从模型的输出中推断出敏感数据，在使用健康或财务记录等机密数据进行训练时会带来重大风险。黑客查询模型并使用响应对训练数据进行逆向工程。2023 年，Gartner 警告称，“模型反转的滥用可能导致严重的隐私侵犯，尤其是在医疗保健和金融领域，攻击者可以从 AI 系统中提取患者或客户信息。”
- 模型窃取：重复的 API 查询可用于复制模型功能。这些查询可帮助攻击者创建行为与原始模型相同的替代模型。AI Security指出，“AI 模型通常通过 API 查询来逆向工程其功能，这对专有系统构成重大风险，尤其是在金融、医疗保健和自动驾驶汽车等领域。”随着 AI 的使用越来越多，这些攻击也在增加，引发了人们对 AI 模型中的知识产权和商业秘密的担忧。
通过强化 AI 模型和供应链安全来增强 SOC 防御
SOC 团队需要全面思考，看似孤立的 AL/ML 模型漏洞如何迅速升级为整个企业的网络攻击。SOC 领导者需要主动确定哪些安全和风险管理框架最能补充其公司的业务模式。NIST AI 风险管理框架和NIST AI 风险管理框架及手册是很好的起点。
以下步骤正在通过加强防御和提高模型可靠性产生效果——这是保护公司基础设施免受对抗性 AI 攻击的两个关键步骤：
致力于不断强化模型架构。部署守门人层以过滤恶意提示，并将模型与经过验证的数据源绑定。在预训练阶段解决潜在的弱点，以便您的模型能够抵御最先进的对抗战术。
永远不要停止加强数据完整性和来源：永远不要假设所有数据都是可信的。通过严格的检查和对抗性输入测试来验证其来源、质量和完整性。通过确保只有干净、可靠的数据进入管道，SOC 可以尽其所能保持输出的准确性和可信度。
整合对抗验证和红队：不要等待攻击者找到您的盲点。持续对已知和新出现的威胁进行压力测试。使用红队发现隐藏的漏洞、挑战假设并推动立即补救 — 确保防御措施与攻击者策略同步发展。
增强威胁情报集成： SOC 领导者需要支持 DevOps 团队，并帮助保持模型与当前风险同步。SOC 领导者需要为 DevOps 团队提供源源不断的更新威胁情报，并使用红队模拟现实世界的攻击者战术。
提高并持续加强供应链透明度：在威胁扎根于代码库或管道之前识别并消除威胁。定期审核存储库、依赖项和 CI/CD 工作流。将每个组件视为潜在风险，并使用红队测试来揭露隐藏的漏洞 — 建立安全、透明的供应链。
采用隐私保护技术和安全协作：利用联邦学习和同态加密等技术，让利益相关者在不泄露机密信息的情况下做出贡献。这种方法可以拓宽 AI 专业知识，而不会增加曝光度。
从微分段开始实施会话管理、沙盒和零信任：通过分段会话、在沙盒环境中隔离风险操作并严格执行零信任原则来锁定整个网络的访问和移动。在零信任下，未经验证，任何用户、设备或流程都无法固有地被信任。这些措施可抑制横向移动，将威胁遏制在源头。它们可保护系统的完整性、可用性和机密性。总体而言，它们已被证明可有效阻止高级对抗性 AI 攻击。
结论
Grazioli 表示：“CISO 和 CIO 之间的协调在 2025 年将至关重要。高管需要整合资源（预算、人员、数据和技术），以增强组织的安全态势。缺乏数据可访问性和可见性会破坏 AI 投资。为了解决这个问题，必须消除 CIO 和 CISO 等部门之间的数据孤岛。”
“在未来的一年里，我们需要将人工智能视为员工，而不是工具，”格拉齐奥利指出。“例如，敏捷的工程师现在必须预测通常会向人工智能提出哪些类型的问题，这突显了人工智能在日常商业活动中的根深蒂固。为了确保准确性，人工智能需要像任何其他员工一样接受培训和评估。”
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/bao-wei-xian-ru-kun-jing-de-soc-di-yu-dui-kang-xing-ai-gong
