Pinecone 通过级联检索扩展矢量数据库,将企业 AI 准确率提高高达 48%

Pinecone 通过级联检索扩展矢量数据库,将企业 AI 准确率提高高达 48%

近年来,Pinecone 已成为领先的原生矢量数据库平台之一。Pinecone 凭借功能继续在竞争日益激烈的市场中脱颖而出,帮助解决企业 AI 挑战

今天,Pinecone 宣布了其同名向量数据库平台的一系列更新。这些更新包括一种新的级联检索方法,该方法结合了密集和稀疏向量检索的优点。Pinecone 还部署了一套新的重新排名技术,旨在帮助提高向量嵌入的准确性和效率。该公司声称,这些新创新将帮助企业构建准确率提高 48% 的企业 AI 应用程序。

Pinecone 的员工产品经理 Gareth Jones 表示:“我们正尝试扩展我们的核心矢量数据库,以从根本上解决更广泛的检索挑战。”

理解密集向量和稀疏向量之间的区别

到目前为止,Pinecone 与许多其他矢量数据库技术一样,依赖于密集矢量。

琼斯解释说,密集文本嵌入模型会产生固定长度的向量,用于捕捉语义和上下文含义。它们对于保持上下文非常有用,但对于关键字搜索或实体查找则不那么有效。他指出,密集模型有时会难以处理电话号码、零件编号和其他特定实体等概念,除非进行重大微调。 

相比之下,稀疏索引可以实现更灵活的关键字搜索和实体查找。Pinecone 正在添加稀疏索引,以解决单独使用密集向量搜索的局限性。总体目标是提供更全面的检索解决方案。

将关键词类型搜索与向量相结合的想法并不新鲜。这个概念通常被归类为“混合搜索”。琼斯将新的 Pinecone 方法称为级联检索。他认为,它不同于一般的混合搜索。

Jones 表示,级联检索不仅仅是一种并行运行密集和稀疏索引的简单混合方法。该方法涉及在密集和稀疏检索的基础上添加一组级联改进,例如重新排序模型。级联方法结合了不同技术的优势,而不仅仅是对结果进行基于分数的基本融合。

重新排序如何进一步提高 Pinecone 矢量数据库的准确性

Pinecone 还通过整合一系列新的重新排序技术来提高结果的准确性。

AI 重新排序器是企业 AI 堆栈中的关键工具,用于优化查询结果的顺序或“排名”。Pinecone 的更新包括多个重新排序选项,包括 Cohere 最新的 Rerank 3.5 模型和 Pinecone 自己的高性能重新排序器。 

通过构建自己的重排序技术,Pinecone 旨在进一步在拥挤的矢量数据库市场中脱颖而出。新的 Pinecone 重排序是该公司开发的第一批重排序,旨在提供最佳结果,尽管会有一些延迟影响。根据 Pinecone 自己的分析,在使用 Benchmarking-IR (BEIR) 基准的评估中,其新的 pinecone-rerank-v0 本身可以将搜索准确率提高高达 60%。新的 pinecone-sparse-english-v0 重排序模型有可能将基于关键字的查询的性能提高高达 44%。

这些重新排序组件的主要优势在于,它们允许 Pinecone 通过结合密集和稀疏索引的输出来提供优化的检索结果。这对企业来说很重要,因为它允许他们整合检索堆栈并获得更好的性能,而无需管理多个供应商或模型。Pinecone 的目标是提供一个紧密集成的堆栈,用户只需发送文本即可获得重新排序的结果,而无需管理底层组件的开销。

除了平台内有更多功能外,琼斯还强调,它是一款无服务器产品,可帮助企业优化成本。该平台的无服务器架构可根据实际使用模式自动处理扩展。

“我们采用无服务器付费模式,”琼斯表示。“人们在特定日期访问其应用程序的流量看起来非常不同,无论是查询还是将文档写入索引……我们处理所有这些,因此他们不会在任何特定时间过度配置。”

原创文章,作者:王 浩然,如若转载,请注明出处:https://www.dian8dian.com/pinecone-tong-guo-ji-lian-jian-suo-kuo-zhan-shi-liang-shu

Like (0)
王 浩然的头像王 浩然作者
Previous 2024年12月3日
Next 2024年12月3日

相关推荐

发表回复

Please Login to Comment