
Astronomer是 Apache Airflow 编排软件背后的公司,现已推出Astro Observe,标志着其从一家单一产品公司扩展到竞争激烈的数据运营平台市场。此举正值企业努力实施其 AI 计划并大规模维护可靠的数据管道之际。
新平台旨在通过将编排和可观察性功能整合到一个解决方案中,帮助组织更有效地监控和排除数据工作流故障。这种整合可以大大降低许多公司在管理数据基础设施时面临的复杂性。
Astronomer 首席技术官 Julian LaNeve 在接受采访时表示:“以前,我们的客户必须向我们寻求编排数据管道,他们必须寻找不同的数据可观测性和 Airflow 可观测性供应商。我们正努力让客户更轻松地完成这一任务,并在一个平台上为他们提供一切。”
人工智能预测分析旨在防止管道故障
Astro Observe 的一个关键区别在于它能够在潜在管道故障影响业务运营之前预测它们。该平台包括一个由人工智能驱动的“洞察引擎”,可以分析数百个客户部署的模式,以提供主动的优化建议。
“我们实际上会在 SLA 生效前两个小时通知人们,他们可能会错过,因为上游存在延迟,”LaNeve 解释道。“这让人们从这个非常被动的世界转向更加主动的 [方法],你可以在下游利益相关者发现之前开始解决问题。”
时机尤为重要,因为各组织都在努力实现 AI 模型的运作。虽然人们的注意力都集中在模型开发上,但维护可靠的数据管道以支持这些模型的挑战已变得越来越关键。
“最终,将这些 AI 用例从原型推向生产,最终会成为一个数据工程问题,”LaNeve 指出。“如何每次都及时有效地向这些 LLM 提供正确的数据?这就是数据工程师多年来一直在做的事情。”
天文学家从开源成功转向企业数据管理
该平台以 Astronomer 在 Apache Airflow 方面的深厚专业知识为基础,Apache Airflow 是一个开源工作流管理平台,每月下载量超过 3000 万次。与四年前 Airflow 2.0 的下载量不到 100 万次相比,这是一个显着的增长。
一个值得注意的功能是“全球供应链图”,它提供了数据沿袭和运营依赖关系的可见性。这有助于团队了解不同数据资产和工作流之间的复杂关系——这对于保持大规模部署的可靠性至关重要。
该平台还引入了“数据产品”概念,允许团队对相关数据资产进行分组并分配服务水平协议 (SLA)。这种方法通过提供有关数据可靠性和交付的明确指标,有助于弥合技术团队和业务利益相关者之间的差距。
企业工具整合,市场竞争加剧
早期采用该平台的GumGum是一家情境智能公司,该公司已经从该平台中获益。GumGum 高级工程经理 Brendan Frick 表示:“在编排的同时添加数据可观察性,使我们能够在问题影响用户和下游系统之前解决问题。”
Astronomer 的扩张正值企业越来越希望整合其数据工具之际。由于企业通常要同时使用来自不同供应商的 8 种或更多工具,因此向统一平台的转变可能预示着企业数据管理格局将发生更广泛的转变。
Astronomer 面临的挑战是与老牌可观测性公司竞争,同时保持其在编排领域的领先地位。然而,它与 Airflow 的深度集成以及对主动管理的关注可能会让它在快速发展的 AI 基础设施工具市场中占据优势。
原创文章,作者:王 浩然,如若转载,请注明出处:https://www.dian8dian.com/ren-gong-zhi-neng-de-zui-da-zhang-ai-shu-ju-ke-kao-xing