随着企业纷纷投入资源构建检索增强型生成（RAG）系统，一个关键问题逐渐浮现：这些系统是否真的如预期般有效工作？为了填补这一评估盲区，矢量科技（Vectara）携手滑铁卢大学的林吉米（Jimmy Lin）教授及其研究团队，共同推出了Open RAG Eval开源框架。这一创新工具旨在将当前主观且模糊的“看起来更好”的评估方式，转变为一种严谨、可重复的评价方法，全面衡量RAG部署中的检索准确性、生成质量及幻觉率。
科学评估，精准优化
Open RAG Eval框架通过两大核心指标类别——检索指标和生成指标，对响应质量进行综合评估。企业可利用此框架对基于矢量科技平台或自定义解决方案的任何RAG流程进行评估。对于技术决策者而言，这意味着他们终于拥有了一套系统化的方法，能够精准识别并优化RAG实施中的各个环节。
林吉米教授在接受VentureBeat独家采访时表示：“如果你无法衡量它，你就无法改进它。在信息检索和密集向量领域，我们可以衡量很多东西，如nDCG（归一化折损累计增益）、精确度、召回率……但在正确答案方面，我们一直没有有效的衡量手段，这正是我们踏上这条道路的原因。”
应对复杂挑战，确保评估精准
近年来，RAG的应用日益复杂，从简单的问答系统扩展到多步骤代理系统，这对评估提出了更高要求。矢量科技CEO兼联合创始人阿姆·阿瓦达拉（Am Awadallah）指出：“在代理世界中，评估尤为重要，因为这些AI代理往往是多步骤的。如果第一步没有捕捉到幻觉，那么错误会在后续步骤中累积，最终导致错误的行动或答案。”
Open RAG Eval框架采用基于要点（nugget）的评估方法，将响应分解为关键事实，并衡量系统捕捉这些要点的有效性。该框架通过四个具体指标全面评估RAG系统，包括检索准确性、生成质量、幻觉率及整体性能。更重要的是，它能够端到端地评估整个RAG流程，揭示嵌入模型、检索系统、分块策略与大型语言模型（LLMs）如何相互作用以产生最终输出。
技术突破，自动化评估流程
Open RAG Eval的另一大技术亮点在于其利用LLMs自动化了以往繁琐且耗时的人工评估过程。通过Python与先进的提示工程，框架使LLMs能够执行识别要点、评估幻觉等评估任务，整个过程被封装在一个结构化的评估管道中。林吉米教授解释说：“在我们开始之前，最先进的方法还是左右对比，即‘你喜欢左边这个还是右边这个？’或‘它们都好’、‘它们都差’。而我们的方法则实现了质的飞跃。”
市场需求旺盛，前景广阔
随着企业AI应用的日益成熟，市场上对评估框架的需求不断增长。Open RAG Eval之所以与众不同，在于它专注于RAG流程而非仅关注LLM输出，且拥有坚实的学术基础，建立在成熟的信息检索科学之上而非临时方法。此外，矢量科技此前对开源AI社区的贡献，如被Hugging Face下载超过350万次的休斯幻觉评估模型（HHEM），为Open RAG Eval的成功奠定了坚实基础。
阿瓦达拉强调：“我们称之为Open RAG Eval框架，而不是矢量科技评估框架，因为我们希望其他公司和机构能够共同参与建设。市场需要这样的工具，以促进所有系统的健康发展。”
目前，已有多家企业对Open RAG Eval框架表示出浓厚兴趣，并计划采用。以房地产公司Anywhere.re为例，其产品与技术高级副总裁杰夫·哈梅尔（Jeff Hummel）表示，与矢量科技的合作将有助于简化公司的RAG评估流程，提高评估的准确性和效率。
对于技术决策者而言，Open RAG Eval框架意味着可以采用科学的方法评估RAG部署和配置，从而避免依赖主观评估或供应商声明。对于AI旅程起步较晚的企业而言，它提供了一个结构化的评估起点，有助于避免在构建RAG基础设施时走弯路、花冤枉钱。
结语：迈向更加智能的未来
随着Open RAG Eval框架的推出，企业在评估和优化RAG系统时将拥有更加精准和高效的工具。这不仅将推动AI技术的进一步发展，还将为企业带来实实在在的商业价值。在这个充满挑战与机遇的时代，Open RAG Eval无疑将成为企业AI战略中不可或缺的一部分。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/rag-xing-neng-ping-gu-de-xin-ji-yuan-kai-yuan-kuang-jia-zhu
