人工智能热潮引发了数据爆炸式增长。人工智能模型需要大量数据集进行训练，它们所支持的工作负载（无论是内部工具还是面向客户的应用程序）正在生成大量遥测数据：日志、指标、跟踪等等。
即使可观察性工具已经存在了一段时间，组织也常常难以跟上，这使得及时发现和应对事件变得更加困难。这时，新玩家Observo AI便应运而生。
这家总部位于加州的初创公司刚刚获得 Felicis 和 Lightspeed Venture Partners 的投资，它开发了一个平台，可以创建 AI 原生数据管道来自动管理激增的遥测流。这最终帮助 Informatica 和 Bill.com 等公司将事件响应时间缩短了 40% 以上，并将可观察性成本削减了一半以上。
问题：基于规则的遥测控制
现代企业系统不断生成 PB 级的运营数据。
虽然这些嘈杂的非结构化信息具有一定的价值，但并非每个数据点都是识别事件的关键信号。这使得团队需要处理大量数据，以便为响应系统进行筛选。如果他们将所有数据都输入系统，成本和误报就会增加。另一方面，如果他们挑挑拣拣，可扩展性和准确性就会受到影响——再次导致错过威胁检测和响应。
毕马威(KPMG) 最近的一项调查显示，近 50% 的企业表示他们遭受了安全漏洞的困扰，数据质量差和误报是主要原因。确实，一些安全信息和事件管理 (SIEM) 系统和可观察性工具有基于规则的过滤器来减少噪音，但这种僵化的方法并没有随着数据量的激增而发展。
为了解决这一差距，之前领导 Rubrik 工程部门的 Gurjeet Arora 开发了 Observo，这是一个借助人工智能优化这些运营数据管道的平台。
该产品位于遥测源和目的地之间，使用 ML 模型来分析传入的数据流。它理解这些信息，然后减少噪音，以决定数据应该流向何处——高价值的事件警报和响应系统或覆盖不同数据类别的更实惠的数据湖。本质上，它可以自行找到高重要性信号并将其路由到正确的位置。
Arora 说：“Observo AI……动态学习、适应并自动执行复杂数据管道中的决策。”“通过利用 ML 和 LLM，它可以过滤嘈杂的非结构化遥测数据，仅提取事件检测和响应的最关键信号。此外，Observo 的 Orion 数据工程师可以自动执行各种数据管道功能，包括使用自然语言查询功能获取见解的能力。”
更有趣的是，该平台会不断改进其理解，主动调整过滤规则并实时优化源和目的地之间的管道。这确保即使出现新的威胁和异常，它也能跟上，并且不需要设置新规则。
对企业的价值
Observo AI 成立已有 9 个月，已经吸引了十多家企业客户，包括 Informatica、Bill.com、Alteryx、Rubrik、Humber River Health 和 Harbor Freight。Arora 指出，他们的收入环比增长了 600%，并且已经吸引了一些竞争对手的客户。
“我们目前最大的竞争对手是另一家名为Cribl 的初创公司。我们在产品和价值方面与 Cribl 有着明显的差异，并且已经在一些企业中取代了他们。从最高层面来看，我们对人工智能的使用是关键的差异化因素，这可以实现更高的数据优化和丰富度，从而带来更好的投资回报率和分析能力，从而加快事件解决速度，”他补充道，并指出该公司通常会优化数据管道，将“噪音”降低 60-70%，而竞争对手的噪音仅为 20-30%。
该首席执行官并未透露上述客户如何从 Observo 中获益，但他指出该平台能够为在高度监管的行业中运营的公司带来哪些帮助（未透露名称）。
在一个案例中，北美一家大型医院正努力应对来自不同来源的安全遥测数据量不断增长的问题，导致数千条无关紧要的警报，以及 Azure Sentinel SIEM、数据保留和计算的巨额费用。该组织的安全运营分析师尝试创建临时管道来手动采样并减少所摄取的数据量，但他们担心可能会错过一些可能产生重大影响的信号。
借助 Observo 的数据源专用算法，该组织最初能够减少 Sentinel 中采集的日志总量的 78% 以上，同时完全纳入所有重要数据。随着该工具的不断改进，该公司预计在前三个月内将实现 85% 以上的减少。在成本方面，它将 Sentinel 的总成本（包括存储和计算）降低了 50% 以上。
这使得他们的团队能够优先处理最重要的警报，从而将解决重大事件的平均时间减少了 35%。
同样，在另一个案例中，一家全球数据和人工智能公司能够将其日志量减少 70% 以上，并将其总 Elasticsearch 可观察性和 SIEM 成本降低 40% 以上。
提前计划
作为这项工作的下一步，该公司计划加快其市场进入力度，并与该类别的其他参与者竞争——Cribl、Splunk、DataDog等。
该公司还计划通过更多的人工智能功能、异常检测、数据策略引擎、分析以及源和目标连接器来增强产品。
根据MarketsAndMarkets的洞察，全球可观察性工具和平台的市场规模预计将从 2023 年的 24 亿美元增长近 12% 至 2028 年的 41 亿美元。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/observo-de-ai-yuan-sheng-shu-ju-guan-dao-jiang-cao-za-yao
