在公共云中运行人工智能可能会给企业带来许多有关数据隐私和安全的担忧。
这就是为什么一些企业会选择在私有云或本地环境中部署 AI。Together AI是寻求解决挑战的供应商之一，这些挑战使企业能够以经济高效的方式在私有云中部署 AI。该公司今天宣布推出 Together Enterprise Platform，支持在虚拟私有云 (VPC) 和本地环境中部署 AI。
Together AI 于 2023 年首次亮相，旨在简化企业对开源 LLM 的使用。该公司已经拥有一个全栈平台，使企业能够在自己的云服务上轻松使用开源 LLM。新平台将 AI 部署扩展到客户控制的云和本地环境。Together Enterprise Platform 旨在解决采用 AI 技术的企业的关键问题，包括性能、成本效益和数据隐私。
Together AI 首席执行官 Vipul Prakash 说：“随着 AI 工作负载的扩大，效率和成本对公司来说很重要，他们也非常关心数据隐私。”“企业内部也有完善的隐私和合规政策，这些政策已经在自己的云设置中实施，公司也关心模型所有权。”
如何利用 Together AI 降低私有云企业 AI 成本
Together Enterprise Platform 的主要承诺是组织可以在自己的私有云部署中管理和运行 AI 模型。
这种适应性对于已经在 IT 基础设施上投入大量资金的企业来说至关重要。该平台通过在私有云中工作并允许用户扩展到 Together 云来提供灵活性。
Together Enterprise 平台的一个主要优势是它能够显著提高 AI 推理工作负载的性能。
Prakash 表示：“我们通常能够将推理性能提高两到三倍，并将用于推理的硬件数量减少 50%。这为企业节省了大量成本，并增加了生产更多产品、构建更多模型和推出更多功能的容量。”
性能提升是通过优化软件和硬件利用率的组合来实现的。
Prakash 解释说：“我们在如何安排和组织 GPU 上的计算以获得最大利用率和最低延迟方面有很多算法技巧。我们在推测解码方面做了很多工作，它使用一个小模型来预测更大的模型会产生什么，从而减少了计算密集型模型的工作量。”
灵活的模型编排和混合代理方法
Together Enterprise 平台的另一个关键特性是它能够在单个应用程序或工作流中协调多个 AI 模型的使用。
Prakash 表示：“我们在企业中看到的情况是，他们通常使用不同模型的组合——开源模型、定制模型和来自不同来源的模型。Together 平台可以协调所有这些工作，根据特定时间对特定功能的需求来扩大或缩小模型。”
组织可以通过多种不同的方式来协调模型以使其协同工作。一些组织和供应商将使用LangChain等技术将模型组合在一起。另一种方法是使用模型路由器（如 Martian 构建的路由器）将查询路由到最佳模型。SambaNova 使用专家组合模型，将多个模型组合在一起以获得最佳结果。
Together AI 正在使用一种不同的方法，它称之为“混合代理”。Prakash 表示，这种方法将多模型代理 AI 与可训练系统相结合，以实现持续改进。它的工作方式是使用“较弱”的模型作为“提议者”——它们各自对提示做出响应。然后使用“聚合器”模型将这些响应组合在一起，从而产生更好的整体答案。
“我们是一个计算和推理平台，我们对代理 AI 工作流程非常感兴趣，”他说。“在接下来的几个月里，您将从 Together AI 中看到更多关于我们围绕它所做的事情。”
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/together-ai-you-wang-tong-guo-si-you-yun-qi-ye-ai-ping-tai
