企业全力投入 AI。他们希望自己的模型能够在生产环境中顺利运行，并尽可能提高性能，以获得高投资回报。然而，即使市场上有各种先进的模型，团队仍然在部署问题上苦苦挣扎。
去年，Everest Group 首席执行官 Peter Bendor-Samuel估计，90% 的生成式人工智能试点项目将无法投入生产。甚至 Gartner 也预测，到 2025 年底，很大一部分生成式人工智能项目可能会在概念验证后被放弃。
在采用的众多障碍中，最大的障碍是编排。团队没有足够的资源在内部完成所有工作，因此只能依赖僵化且昂贵的第三方 API。今天，Simplismart AI筹集了 700 万美元的资金，以通过其端到端 MLOps 平台解决这一问题，该平台通过处理从微调模型到部署和可观察性的所有事务来加速整个编排工作。
虽然市场上还有其他 MLOps 解决方案，包括来自 Datadog 的解决方案，但这家初创公司的与众不同之处在于其个性化的软件优化推理引擎。它以闪电般的速度部署模型，显著提高其性能，同时降低相关成本。
“在没有任何硬件优化的情况下，我们在Llama3.1 8B 模型上实现了每秒 501 个令牌的吞吐量，这远远超过了其他推理引擎。同样，我们在所有模式下都取得了更好的结果，包括文本转语音、语音转文本、文本转图像、图像转图像，”前 Oracle 工程师 Amritanshu Jain 表示，他与前谷歌技术人员 Devansh Ghatak 共同创办了这家初创公司。
使用 Simplismart 优化推理解决编排差距
在内部部署 AI（为了增强控制和隐私）时，团队必须处理多个瓶颈问题，从访问计算能力和优化模型性能到扩展基础设施、CI/CD 管道和成本效率。手动处理所有事情很容易花费数月时间。更不用说，管道中这里或那里的一个小错误可能会影响模型的性能，导致高成本和糟糕的投资回报率。
Simplismart 凭借其端到端编排平台，标准化了整个工作流程，允许用户根据他们的需求微调、部署和观察高度优化的开源模型——涵盖不同的模式。
“用户可以使用我们的共享基础架构，也可以使用自己的计算、云帐户轻松配置基础架构和部署。平台直观的仪表板允许他们设置 GPU、机器类型、扩展范围等参数。集群准备就绪后，用户可以从各种预先优化的模型中进行部署或导入自己的模型……最后，可观察性功能开始发挥作用，允许用户跟踪 SLA、监控模型在现实世界中的性能并根据过去的数字对性能进行基准测试……”Jain 解释道。
该平台的类似 Terraform 的声明式编排语言让企业可以轻松管理整个管道，将完全控制权交还给他们，并减少对 DevOps 团队的依赖。同时，其核心的个性化、软件优化推理引擎可确保部署模型以提供所需的性能和成本结果。
“Simplismart 是一个出色的平台，可以提供根据每个企业的需求量身定制的个性化推理引擎——无论是负载、SLA、性能要求、GPU 使用情况等。这可以帮助企业在成本和性能之间取得适当的平衡，”Jain 说。
他指出，推理引擎的性能在三个主要层面上进行了优化。
首先，它通过为机器学习工作负载提供自定义服务层来优化应用程序服务。然后，它通过快速升级/降级和跨 GPU 分片模型来支持基础设施，以最大限度地提高硬件利用率。最后，它使用 CUDA 通过 28 个自定义内核优化模型与 GPU 的交互。这使引擎能够从所使用的硬件中榨取更多的性能。
他表示，优化的推理引擎已经在运行一些流行模型，包括 Llama 3.1 8B、OpenAI 的 Whisper v2和SDXL，性能有了很大的提升。
“在多次 Llama 3.1 8B 运行中，我们一直记录到每秒 501 个令牌的吞吐量。尽管如此，这并不意味着每个请求都能达到这个确切的数字，因为性能可能会在一个范围内波动，这对于所有推理引擎来说都是很常见的。在我们的测试中，我们观察到持续负载下的中位数约为每秒 350 个令牌。特别令人兴奋的是，即使在这个中位数下，我们的性能范围仍然明显高于市场上任何其他推理引擎，”他指出。
该公司在该领域的主要竞争对手是TogetherAI、Baseten、Replicate、Fireworks和Amazon Bedrock。
计划加倍提高绩效
Simplismart 已经拥有 30 家企业客户，包括 Invideo、Dashtoon、Dubverse 和 Vodex。一家制药市场使用该公司的平台部署了 InternVL2 模型来数字化手写处方，并能够改进空间配置检测，以一半的成本处理 2.5 倍的图像。
作为这项工作的下一步，Simplismart 希望进一步提高其 MLOps 平台的性能。它将利用新资金推动研发，并提出新技术来提高 AI 推理速度并保持竞争优势。
Jain 指出：“过去四个月，公司收入增长了两倍，年收入达到约 100 万美元。我们的目标是在未来 15 个月内将 ARR 扩大到 1000 万美元。我们的主要手段是瞄准前 50 家 AI 优先企业，并推动我们类似 Terraform 的编排语言的开源采用。”
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/simplismart-tong-guo-ge-xing-hua-ruan-jian-you-hua-de-tui
