人工智能正在改变企业的运营方式。虽然这种转变在很大程度上是积极的，但它也带来了一些独特的网络安全问题。像agentic AI这样的下一代人工智能应用对组织的安全态势构成了特别值得注意的风险。
什么是代理 AI？
代理型人工智能是指能够自主行动的人工智能模型，通常无需人工干预即可自动完成整个任务。高级聊天机器人是最突出的例子之一，但人工智能代理也可以出现在商业智能、医疗诊断和保险调整等应用中。
在所有用例中，该技术结合了生成模型、自然语言处理 (NLP) 和其他机器学习 (ML) 功能，可独立执行多步骤任务。这种解决方案的价值显而易见。可以理解的是，Gartner 预测，到 2028 年，所有生成式 AI 交互中有三分之一将使用这些代理。
代理人工智能的独特安全风险
随着企业寻求在不增加员工数量的情况下完成更多任务，Agentic AI 的采用将激增。尽管前景光明，但赋予 AI 模型如此强大的能力却会带来严重的网络安全隐患。
人工智能代理通常需要访问大量数据。因此，它们是网络犯罪分子的主要目标，因为攻击者可以将精力集中在单个应用程序上以暴露大量信息。这将产生与鲸钓类似的效果——仅在 2021 年就造成了125 亿美元的损失——但可能更容易，因为人工智能模型可能比经验丰富的专业人士更容易受到攻击。
Agentic AI 的自主性是另一个值得关注的问题。虽然所有 ML 算法都会带来一些风险，但常规用例需要人类授权才能对其数据进行任何操作。另一方面，代理可以在没有许可的情况下采取行动。因此，任何意外的隐私泄露或AI 幻觉等错误都可能悄无声息地溜走，无人注意。
缺乏监督使得数据中毒等现有的人工智能威胁变得更加危险。攻击者只需改变0.01% 的训练数据集即可破坏模型，而且只需极少的投资即可实现。这在任何情况下都是有害的，但中毒代理的错误结论的影响范围要比人类先审查输出的范围大得多。
如何提高人工智能代理的网络安全
鉴于这些威胁，企业在实施代理 AI应用程序之前需要调整网络安全策略。以下是实现这一目标的四个关键步骤。
1. 最大化可见性
第一步是确保安全和运营团队能够全面了解 AI 代理的工作流程。模型完成的每项任务、它连接的每个设备或应用程序以及它可以访问的所有数据都应该显而易见。揭示这些因素将使发现潜在漏洞变得更加容易。
这里可能需要自动网络映射工具。只有23% 的 IT 领导者表示他们对云环境有完全的了解，61% 的 IT 领导者使用多种检测工具，导致记录重复。管理员必须首先解决这些问题，才能获得有关其 AI 代理可以访问哪些内容的必要见解。
采用最小特权原则
一旦明确了代理可以与哪些内容交互，企业就必须限制这些权限。最小权限原则至关重要，即任何实体只能查看和使用其绝对需要的内容。
任何 AI 代理可以与之交互的数据库或应用程序都存在潜在风险。因此，组织可以通过尽可能限制这些权限来最大限度地减少相关攻击面并防止横向移动。任何不直接有助于 AI 实现价值驱动目的的事情都应该被禁止。
限制敏感信息
同样，网络管理员可以通过从代理 AI 可以访问的数据集中删除敏感细节来防止隐私泄露。许多 AI 代理的工作自然涉及私人数据。超过50% 的生成 AI 支出将用于聊天机器人，这些聊天机器人可能会收集有关客户的信息。然而，并非所有这些细节都是必要的。
虽然客服人员应该从过去的客户互动中学习，但不需要存储姓名、地址或付款详细信息。对系统进行编程，从人工智能可访问的数据中删除不必要的个人身份信息，将最大限度地减少违规行为造成的损失。
注意可疑行为
企业在编写代理 AI 时也需要小心谨慎。首先将其应用于单个小用例，然后使用多元化团队在训练期间检查模型是否存在偏见或幻觉的迹象。部署代理时，请缓慢推出并监控其是否存在可疑行为。
实时响应能力在这种监控中至关重要，因为代理 AI 的风险意味着任何违规行为都可能产生严重后果。值得庆幸的是，自动检测和响应解决方案非常有效，平均节省了 222 万美元的数据泄露成本。组织可以在成功试用后慢慢扩展其 AI 代理，但他们必须继续监控所有应用程序。
随着网络安全的进步，网络安全策略也必须
人工智能的快速发展为现代企业带来了巨大的希望，但其网络安全风险也在迅速上升。企业的网络防御必须随着生成式人工智能用例的扩大和发展而不断扩大。如果跟不上这些变化，可能会造成超过技术收益的损害。
Agentive AI 将使 ML 达到新的高度，但相关漏洞也同样如此。虽然这并不会使这项技术变得太不安全而无法投资，但确实需要格外谨慎。企业在推出新的 AI 应用程序时必须遵循这些必要的安全步骤。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/ren-gong-zhi-neng-bei-lun-wei-lai-de-jian-duan-gong-ju-ru
