Agentic AI 即将崛起,带来新的网络安全风险

Agentic AI 即将崛起,带来新的网络安全风险

据管理咨询公司 Gartner 称, Agentic AI可以大幅提高人工智能的潜力,到 2028 年,该技术可能会被纳入到 33% 的企业软件应用程序中,而目前这一比例仅为 1%。 

但 Gartner 杰出副总裁分析师 Avivah Litan 表示,除了可能改变游戏规则的好处之外,这项技术还带来了超出 AI 模型和应用程序固有风险和安全威胁的新风险和安全威胁。 

到目前为止,大型语言模型(LLM) 还不能自主行动,但借助代理 AI,LLM 可以在极少的人工监督下自主行动。它们可以适应其环境并在复杂环境中执行目标。 

这种能力可以极大地提高人工智能的潜力,使其能够通过 API 或机器人系统在数字或物理世界中检查数据、执行研究、编译任务并完成它们。

例如,未来具有完全自主权的代理 AI 系统可以从其环境中学习,做出决策并独立执行任务。 

Gartner 将代理人工智能列为其 2025 年的首要战略技术趋势,并在一份简报中预测,到 2028 年,人工智能代理机器客户可以取代 20% 的人类可读数字店面交互。 

到 2028 年,至少 15% 的日常工作决策可以通过代理 AI 自主做出,而 2024 年这一比例为零。 

不过,Gartner 表示用户应该意识到额外的风险。 

Litan 说:“对于标准的人工智能模型和应用程序,威胁面通常仅限于输入、模型处理和输出、编排层中的软件漏洞以及托管它们的环境。”

“当使用人工智能代理时,威胁面扩大到包括它们发起和参与的事件链和交互,这些事件链和交互默认情况下对人类或系统操作员来说是不可见的,也无法被阻止。” 

Litan 表示,一些威胁包括代理事件链中任何地方的数据暴露或泄露,以及人工智能代理产生的未经授权、意外或恶意的编码逻辑错误,这些错误会导致数据泄露或其他威胁。使用从第三方网站下载的库或代码用于代理还存在供应链风险。 

为了管理这些威胁,Litan 表示,IT 领导者应该教育其组织了解 AI 代理的固有风险(这些风险可能会在企业产品中推广),并采取措施减轻这些风险。行动可能包括检测和标记异常的 AI 代理活动以及违反特定预设企业政策的活动,以及查看和映射所有 AI 代理活动和信息流。

企业已经在实施或定制具有 AI 代理功能的产品,包括 Microsoft Copilot StudioAzure AI StudioAWS BedrockGoogle NotebookLM。 

然而,目前基于法学硕士的助理与成熟的人工智能代理之间仍然存在巨大差距。Gartner 表示,预计这一差距将首先在范围较窄的活动中缩小,并最终可能随着世界学习如何构建、管理和信任代理人工智能解决方案而扩大。

原创文章,作者:王 浩然,如若转载,请注明出处:https://www.dian8dian.com/agentic-ai-ji-jiang-jue-qi-dai-lai-xin-de-wang-luo-an-quan

Like (0)
王 浩然的头像王 浩然作者
Previous 2024年12月6日
Next 2024年12月7日

相关推荐

发表回复

Please Login to Comment