代理人工智能的下一阶段可能只是评估和监控，因为企业希望让他们开始部署的代理更具可观察性。
虽然AI 代理基准可能会产生误导，但了解代理是否按其期望的方式工作却具有很大的价值。为此，公司开始提供平台，客户可以在其中测试 AI 代理或评估其性能。
Salesforce于周三在有限试点中发布了其代理评估平台 Agentforce Testing Center。预计 12 月将全面上市。Testing Center 让企业可以观察和制作 AI 代理的原型，以确保它们可以访问所需的工作流程和数据。
测试中心的新功能包括针对 Agentforce 的 AI 生成测试、针对 Agentforce 和数据云的沙盒以及针对 Agentforce 的监控和可观察性。
人工智能生成的测试允许公司使用人工智能模型生成“数百次合成交互”，以测试代理最终是否按照公司希望的方式回答问题。顾名思义，沙盒提供了一个隔离的环境来测试代理，同时镜像公司的数据以更好地反映代理如何为他们工作。监控和可观察性让企业在代理投入生产时将审计跟踪带到沙盒中。
Salesforce 产品和行业营销执行副总裁 Patrick Stokes 表示，测试中心是公司称之为代理生命周期管理的新代理类别的一部分。
“我们正在定位我们认为将成为代理的一个新子类别，”斯托克斯说。“当我们说生命周期时，我们指的是从起源到开发再到部署的整个过程，以及部署过程中的迭代。”
斯托克斯表示，目前，测试中心还没有针对特定工作流程的洞察，开发人员无法看到代理使用的 API、数据或模型的具体选择。不过，Salesforce 在其 Einstein Trust Layer 上收集了这类数据。
斯托克斯说：“我们正在做的是构建开发工具，向我们的客户公开元数据，以便他们可以实际使用它来更好地构建他们的代理。”
Salesforce 正致力于 AI 代理，将大量精力集中在其代理产品 Agentforce上。Salesforce 客户可以使用预设代理或在 Agentforce 上构建定制代理来连接到他们的实例。
评估代理商
人工智能代理触及组织中的许多点，并且由于良好的代理生态系统旨在实现大量工作流程的自动化，因此确保它们运行良好变得至关重要。
如果代理决定使用错误的 API，这可能会给企业带来灾难。人工智能代理本质上是随机的，就像支持它们的模型一样，它们在得出结果之前会考虑每个潜在概率。斯托克斯说，Salesforce 通过向代理发送相同话语或问题的多个版本来测试代理。它的回答被评为通过或失败，允许代理在人类开发人员可以控制的安全环境中学习和发展。
帮助企业评估 AI 代理的平台正迅速成为一种新型产品。6 月，客户体验 AI 公司Sierra 推出了一款名为 TAU-bench 的 AI 代理基准，以考察对话代理的性能。自动化公司UiPath于 10 月发布了其Agent Builder 平台，该平台还提供了一种在全面部署之前评估代理性能的方法。
测试 AI 应用程序并不是什么新鲜事。除了对模型性能进行基准测试外，许多 AI 模型存储库（如 AWS Bedrock 和 Microsoft Azure）已经允许客户在受控环境中测试基础模型，以了解哪种模型最适合他们的用例。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/salesforce-tui-chu-agentforce-ce-shi-zhong-xin-rang-zuo-xi
