OpenAI和Anthropic与美国国家标准与技术研究所（NIST）下属的人工智能安全研究所签署协议，合作开展人工智能模型安全研究、测试和评估。
该协议为人工智能安全研究所提供了两家公司计划在公开发布之前和之后发布的新人工智能模型。这与英国人工智能安全研究所进行的安全评估相同，人工智能开发人员允许访问预先发布的基础模型进行测试。
人工智能安全研究所所长伊丽莎白·凯利 (Elizabeth Kelly) 在一份新闻稿中表示：“有了这些协议，我们期待与 Anthropic 和 OpenAI 开始技术合作，以推进人工智能安全科学的发展。”“这些协议只是一个开始，但它们是我们努力负责任地管理人工智能未来的一个重要里程碑。”
人工智能安全研究所还将与英国人工智能安全研究所的合作伙伴密切合作，向 OpenAI 和 Anthropic 提供“有关其模型的潜在安全改进”的反馈。
安全合作
OpenAI 和 Anthropic 均表示，与人工智能安全研究所签署协议将对美国如何制定负责任的人工智能规则产生影响。
OpenAI 首席战略官 Jason Kwon 在给 VentureBeat 的电子邮件中表示：“我们坚决支持美国人工智能安全研究所的使命，并期待共同努力，为人工智能模型提供安全最佳实践和标准。我们相信，该研究所在确定美国在负责任地开发人工智能方面的领导地位方面发挥着关键作用，并希望我们的共同努力能为世界其他国家提供一个可以借鉴的框架。”
OpenAI 领导层此前曾表示支持对 AI 系统进行某种监管，尽管前员工担心该公司放弃了安全优先考虑。OpenAI 首席执行官 Sam Altman 本月早些时候表示，该公司致力于在发布之前向政府机构提供其模型进行安全测试和评估。
Anthropic聘请了 OpenAI 的部分安全和超级对齐团队成员，该公司表示，在向公众发布之前， 它已将其Claude 3.5 Sonnet 模型发送给了英国人工智能安全研究所。
Anthropic 联合创始人兼政策主管杰克·克拉克 (Jack Clark) 在发给 VentureBeat 的一份声明中表示：“我们与美国人工智能安全研究所的合作利用了他们广泛的专业知识，在广泛部署之前对我们的模型进行了严格测试。”“这增强了我们识别和减轻风险的能力，推动了负责任的人工智能发展。我们很自豪能为这项重要工作做出贡献，为安全和值得信赖的人工智能树立新的标杆。”
尚未制定法规
美国国家标准与技术研究院的人工智能安全研究所是根据拜登政府关于人工智能的行政命令成立的。这项行政命令并非立法，美国下一任总统都可以推翻它。该命令要求人工智能模型开发人员在公开发布之前提交模型进行安全评估。但是，它不能因为公司没有这样做而惩罚他们，也不能因为模型未通过安全测试而追溯撤回它们。国家标准与技术研究院指出，提供安全评估模型仍然是自愿的，但“将有助于促进人工智能的安全、可靠和值得信赖的开发和使用。”
政府将通过国家电信和信息管理局开始研究公开重量模型（即向公众公布重量的模型）对当前生态系统的 影响。但即便如此，该机构也承认无法积极监控所有公开模型。
虽然美国人工智能安全研究所与人工智能开发领域两大顶尖机构达成的协议指明了规范模型安全的道路，但人们担心“安全”一词过于模糊，缺乏明确的监管规定让该领域陷入混乱。
研究人工智能安全的团体表示，该协议是“朝着正确方向迈出的一步”，但 Accountable Tech 执行董事兼联合创始人妮可吉尔 (Nicole Gill) 表示，人工智能公司必须履行承诺。
“监管机构对人工智能快速发展的了解越多，产品就会越好、越安全，”吉尔说。“NIST 必须确保 OpenAI 和 Antrhopic 履行承诺；这两家公司都有做出承诺的记录，比如《人工智能选举协议》，但几乎没有采取任何行动。如果人工智能巨头能够履行这些承诺，他们的自愿承诺将是人工智能安全进程的一条可喜之路。”
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/openai-he-anthropic-tong-yi-jiang-mo-xing-song-jiao-mei-guo
