Lambda 推出“推理即服务” API,宣称成本为人工智能行业最低

Lambda 推出“推理即服务” API,宣称成本为人工智能行业最低

Lambda是一家成立 12 年的旧金山公司,以向机器学习研究人员以及 AI 模型构建者和训练人员按需提供图形处理单元 (GPU) 而闻名。

但今天,该公司推出了Lambda Inference API (应用程序编程接口),将其产品更进一步,该公司声称这是市场上同类服务中成本最低的。该 API 允许企业将 AI 模型和应用程序部署到最终用户的生产中,而无需担心采购或维护计算。

此次发布补充了 Lambda 目前专注于提供用于训练和微调机器学习模型的 GPU 集群的重点。

Lambda 营收副总裁罗伯特·布鲁克斯 (Robert Brooks) 在接受视频电话采访时表示:“我们的平台完全垂直化,这意味着与 OpenAI 等其他提供商相比,我们可以为最终用户节省大量成本。此外,没有任何速率限制会阻碍扩展,您无需与销售人员交谈即可开始使用。”

事实上,正如布鲁克斯告诉的那样,开发人员可以前往Lambda 的新推理 API网页,生成 API 密钥,并在不到五分钟的时间内开始使用。

Lambda 的推理 API 支持Meta 的 Llama 3.3和 3.1、Nous 的 Hermes-3和阿里巴巴的 Qwen 2.5等前沿模型,使其成为机器学习社区最容易获得的选项之一。完整列表可在此处查看,其中包括:

  • deepseek-coder-v2-lite-instruct
  • dracarys2-72b-指令
  • hermes3-405b
  • hermes3-405b-fp8-128k
  • hermes3-70b
  • hermes3-8b
  • lfm-40b
  • llama3.1-405b-指令-fp8
  • llama3.1-70b-指令-fp8
  • llama3.1-8b-指令
  • llama3.2-3b-指令
  • llama3.1-nemotron-70b-指令
  • llama3.3-70b

对于较小的模型(例如 Llama-3.2-3B-Instruct),起价为每百万个代币 0.02 美元,而对于较大的、最先进的模型(例如 Llama 3.1-405B-Instruct),则最高价格为每百万个代币 0.90 美元。

正如 Lambda 联合创始人兼首席执行官 Stephen Balaban 最近在 X 上所说,“别再浪费钱了,开始使用 Lambda 进行 LLM 推理吧。”Balaban 发布了一张图表,显示了其与该领域竞争对手相比,通过推理提供 AI 模型的每代币成本。

Lambda 推出“推理即服务” API,宣称成本为人工智能行业最低

此外,与许多其他服务不同,Lambda 的即用即付模式确保客户只需为他们使用的代币付费,从而无需订阅或限速计划。

闭合人工智能循环

Lambda 拥有十多年利用基于 GPU 的基础设施支持 AI 进步的历史。

从硬件解决方案到训练和微调能力,该公司已成为企业、研究机构和初创企业的可靠合作伙伴。

“要知道,Lambda 已经为我们的用户群部署了十多年的 GPU,因此我们实际上拥有数以万计的 Nvidia GPU,其中一些可能来自较旧的生命周期和较新的生命周期,这使我们能够以较低的成本为更广泛的 ML 社区从这些 AI 芯片中获得最大的效用,”Brooks 解释道。“随着 Lambda Inference 的推出,我们正在关闭全栈 AI 开发生命周期的循环。新的 API 正式化了许多工程师已经在 Lambda 平台上做的事情——使用它进行推理——但现在有了简化部署的专用服务。”

布鲁克斯指出,丰富的 GPU 资源储备是 Lambda 的一大特色,并重申“Lambda 在过去十年中部署了数以万计的 GPU,使我们能够为新老 AI 芯片提供经济高效的解决方案和最大效用。”

这种 GPU 优势使该平台能够支持每月扩展到数万亿个代币,为开发人员和企业提供灵活性。

开放、灵活

Lambda 通过提供不受限制的高性能推理访问,将自己定位为云巨头的灵活替代方案。

“我们希望让机器学习社区不受限制地访问推理 API。您可以即插即用、阅读文档,并快速扩展到数万亿个令牌,”布鲁克斯解释说。

该 API 支持一系列开源和专有模型,包括流行的指令调整的 Llama 模型。

该公司还暗示在不久的将来将扩展到多模式应用,包括视频和图像生成。

“最初,我们专注于基于文本的法学硕士,但很快我们将扩展到多模式模型,”布鲁克斯说。

为开发者和企业提供隐私和安全服务

Lambda Inference API 面向媒体、娱乐和软件开发领域的广泛用户,从初创企业到大型企业。

这些行业越来越多地采用人工智能来支持文本摘要、代码生成和生成内容创建等应用程序。

“我们的平台上不会保留或共享用户数据。我们充当向最终用户提供数据的渠道,确保隐私,”布鲁克斯强调道,并强调了 Lambda 对安全和用户控制的承诺。

随着人工智能的采用率不断上升,Lambda 的新服务有望吸引那些寻求经济高效的人工智能模型部署和维护解决方案的企业的关注。通过消除速率限制和高运营成本等常见障碍,Lambda 希望让更多组织能够充分利用人工智能的潜力。

原创文章,作者:王 浩然,如若转载,请注明出处:https://www.dian8dian.com/lambda-tui-chu-tui-li-ji-fu-wu-api-xuan-cheng-cheng-ben-wei-2

Like (0)
王 浩然的头像王 浩然作者
Previous 5天前
Next 4天前

相关推荐

发表回复

Please Login to Comment