虽然许多现有的风险和控制可以应用于生成人工智能，但这项突破性的技术也有许多细微差别，需要新的策略。
模型容易产生幻觉或产生不准确的内容。其他风险包括通过模型输出泄露敏感数据、模型被污染，从而允许迅速操纵和由于训练数据选择不当或微调和训练控制不足而产生偏差。
谷歌云首席信息安全官 Phil Venables 表示，最终，传统的网络检测和响应需要扩展以监控人工智能的滥用，而人工智能则应该反过来用于防御优势。
维纳布尔斯在最近举行的云安全联盟全球人工智能研讨会的一次虚拟会议上指出：“人工智能的安全、可靠和可信使用涵盖了许多团队过去从未整合过的一系列技术。”
Google Cloud 的经验教训
维纳布尔斯强调提供控制和通用框架的重要性，以便每个人工智能实例或部署不会从头开始。
他说道：“请记住，问题是一个端到端的业务流程或任务目标，而不仅仅是环境中的技术问题。”
现在几乎每个人都已经了解了滥用训练数据和微调数据所带来的诸多风险。“降低数据中毒风险至关重要，确保数据适合其他风险也同样重要，”Venables 说道。
重要的是，企业应确保用于训练和调整的数据得到清理和保护，并且数据的谱系或来源保持“强完整性”。
“现在，显然你不能只是希望这是真的，”维纳布尔斯承认。“你必须实际做些工作来管理和跟踪数据的使用情况。”
这需要实施内置安全性的特定控件和工具，它们共同作用以提供模型训练、微调和测试。Venables 指出，这对于确保模型不被篡改（无论是软件、权重还是任何其他参数）尤为重要。
他说：“如果我们不注意这一点，我们就会面临多种不同类型的后门风险，这些风险可能会危及已部署的业务或任务流程的安全性。”
过滤以防止即时注入
另一个大问题是外部人员滥用模型。Venables表示，模型可能会通过训练数据或其他参数受到污染，从而导致其行为违反更广泛的控制。这可能包括即时操纵和颠覆等对抗性策略。
维纳布尔斯指出，有很多例子表明，人们在“天真防御或完全不受保护的模型”面前，直接或间接地操纵提示，导致意想不到的结果。
这可能是嵌入在图像中的文本，或单模或多模模型中的其他输入，其中有问题的提示“扰乱输出”。
维纳布尔斯说：“很多引人注目的新闻都是由不安全的内容生成引发的，其中一些可能相当有趣。”
他说，确保输入经过一系列信任、安全和保障目标的过滤非常重要。这应该包括“普遍日志记录”和可观察性，以及对模型、代码、数据和测试数据维护的强大访问控制。
“测试数据可以以有趣且具有潜在风险的方式影响模型行为，”维纳布尔斯说。
控制输出
Venables 指出，用户让模型出现问题表明不仅需要管理输入，还需要管理输出。企业可以围绕模型如何操纵数据或启动物理过程创建过滤器和出站控制（或“断路器”）。
“这不仅仅是对抗驱动的行为，也是偶然的模范行为，”维纳布尔斯说。
Venables 建议，组织应监控并解决支持基础设施本身的软件漏洞。端到端平台可以控制数据和软件生命周期，并帮助管理 AI 集成到业务和任务关键型流程和应用程序中的运营风险。
“归根结底，这是为了减轻模型输出操作的操作风险，本质上是为了控制代理行为，为意外行动提供防御深度，”维纳布尔斯说。
他建议对所有 AI 应用程序进行沙盒化和强制执行最低权限。应通过独立监控 API 过滤器或构造来管理和保护模型，并对其进行严格屏蔽，以验证和规范行为。应用程序还应在锁定负载下运行，企业需要关注可观察性和日志记录操作。
最终，“一切都是为了清理、保护和管理您的训练、调整和测试数据。这是为了对模型、数据、软件和部署的基础设施实施强大的访问控制。这是为了过滤这些模型的输入和输出，最后确保您在某些提供纵深防御的风险和控制框架中对更多使用和应用程序进行沙盒处理。”
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/gu-ge-yun-an-quan-zhu-guan-jing-gao-wang-luo-fang-yu-bi-xu
