扩展 AI:平台最佳实践

扩展 AI:平台最佳实践

企业现在投入大量资金来构建和不断发展世界一流的企业平台,使 AI 用例能够随着时间的推移而构建、部署、扩展和发展。许多公司历来都采用联合方式构建平台,以构建功能和特性来支持其业务各个领域的定制需求。

然而,如今,生成式人工智能等技术进步带来了新的挑战,需要采用不断发展的方法来构建和扩展企业平台。这包括考虑专业人才和图形处理单元 (GPU) 资源需求,以训练和托管大型语言模型、获取大量高质量数据、跨多个团队密切协作以部署代理工作流,以及内部应用程序编程接口 (API) 和多代理工作流所需的工具的高度成熟度,等等。分散的系统和缺乏标准化阻碍了公司充分发挥人工智能潜力的能力。

Capital One,我们了解到大型企业应遵循一套通用的最佳实践和平台标准,以有效地大规模部署 AI。虽然细节会有所不同,但有四项共同原则可帮助企业成功大规模部署 AI,从而为其业务释放价值:

1. 一切从用户开始

任何企业平台的目标都是赋能用户 — 因此您必须从用户的需求出发。您应该努力了解用户如何使用您的平台、他们试图解决哪些问题以及他们遇到的任何阻力。

例如,在 Capital One,指导我们 AI/ML 平台团队的一个关键原则是,我们专注于客户体验的各个方面,即使是那些我们不直接监督的方面。例如,近年来,我们采取了多项举措来解决用户的数据和访问管理痛点,尽管我们依赖其他企业平台来解决这些问题。

当你赢得用户的信任和参与时,你就可以创新并重新想象新想法和“进一步提升”的可能性。这种对客户的痴迷是构建持久和可持续平台的基础。

2. 建立多租户平台控制平面

多租户对于任何企业平台都至关重要,它允许多个业务线和分布式团队在共享但管理良好的环境中使用核心平台功能,例如计算、存储、推理服务、工作流编排等。它允许您解决核心数据访问痛点,允许抽象,启用多种计算模式,并简化核心服务计算实例的配置和管理——例如,AI/ML 工作负载所需的大量 GPU 和中央处理器 (CPU)。

通过正确设计多租户平台控制平面,您可以集成一流的开源和商业软件组件,并随着平台的发展灵活扩展。在 Capital One,我们以 Kubernetes 为基础开发了一个强大的平台控制平面,该平面可扩展到我们在 AWS 上的大量计算集群,公司内数千名活跃的 AI/ML 用户都在使用这些集群。

我们经常试验和采用一流的开源和商业软件组件作为插件,并开发我们自己的专有功能,以提升我们的竞争优势。对于最终用户来说,这使我们能够访问最新技术和更强大的自助服务功能,使团队能够在我们的平台上构建和部署,而无需寻求我们的工程团队的支持。 

3. 嵌入自动化和治理

在构建新平台时,在构建、测试和部署模型和功能的过程中,建立正确的机制来收集端到端生命周期中的日志和见解至关重要。企业可以自动化核心任务,例如沿袭跟踪、遵守企业控制、可观察性、监控和检测等,这些任务跨越平台的各个层。通过标准化和自动化这些任务,可以将开发和部署新的关键任务模型和 AI 用例的时间缩短数周,在某些情况下甚至数月。

在 Capital One,我们更进一步,建立了一个可重复使用的组件和软件开发工具包 (SDK) 市场,这些组件和工具包内置了可观察性和治理标准。这些使我们的员工能够找到开发 AI 模型和应用程序所需的可重复使用的库、工作流和用户贡献的代码,并充满信心地知道他们在企业平台上构建的工件在后台得到了良好的管理。事实上,在我们旅程的这个阶段,我们认为这种程度的自动化和标准化是一种竞争优势。

4. 投资人才和有效的业务惯例

构建最先进的 AI 平台需要一支世界一流的跨职能团队。一支高效的 AI 平台团队必须是多学科的、多元化的,包括数据科学家、工程师、设计师、产品经理、网络和模型风险专家等。这些团队成员都拥有独特的技能和经验,在构建和迭代适用于所有用户且可随时间扩展的 AI 平台方面发挥着关键作用。 

在 Capital One,我们在构建和部署 AI 平台功能时,将跨职能合作作为我们的使命。我们一直在寻求发展组织并建立 AI 员工队伍,因此我们在 2021 年设立了机器学习工程师职位,最近又设立了 AI 工程师职位,以招募和留住技术人才,帮助我们继续站在 AI 的前沿并解决金融服务领域最具挑战性的问题。

在此过程中,为平台用户建立和传达明确的路线图和变更控制,并将反馈循环纳入您的规划和软件交付流程,对于确保您的用户随时了解情况、为即将发生的事情做出贡献以及了解您正在实施的平台战略的好处至关重要。

为未来 AI 奠定基础

为 AI 时代构建或改造企业平台并非易事,但它将为您的业务带来更大的灵活性和可扩展性。在 Capital One,我们亲眼目睹了这些基础如何大规模支持 AI/ML,从而继续为我们的业务和超过 1 亿客户创造价值。

通过奠定正确的技术基础、从一开始就建立治理实践并投资人才,您的用户很快就能在整个业务中以良好治理的方式利用人工智能。

原创文章,作者:王 浩然,如若转载,请注明出处:https://www.dian8dian.com/kuo-zhan-ai-ping-tai-zui-jia-shi-jian

Like (0)
王 浩然的头像王 浩然作者
Previous 2024年12月12日
Next 2024年12月13日

相关推荐

发表回复

Please Login to Comment