Meta ——Facebook、Instagram、WhatsApp、Threads 等的母公司——运行着世界上最大的推荐系统之一。
在最近发布的两篇论文中，研究人员揭示了如何使用生成模型来更好地理解和响应用户意图。
通过将推荐视为生成性问题，您可以采用新方法来解决它，这些方法比传统方法内容更丰富、效率更高。对于任何需要检索文档、产品或其他类型对象的应用程序来说，这种方法都具有重要用途。
密集检索与生成检索
创建推荐系统的标准方法是计算、存储和检索文档的密集表示。例如，为了向用户推荐商品，应用程序必须训练一个模型，该模型可以计算用户请求的嵌入和大量商品的嵌入。
在推理时，推荐系统会尝试通过查找一个或多个嵌入与用户相似的商品来了解用户的意图。随着商品数量的增加，这种方法需要的存储量和计算能力也会随之增加，因为必须存储每个商品嵌入，并且每个推荐操作都需要将用户嵌入与整个商品库进行比较。
生成检索是一种较新的方法，它试图理解用户意图并提出建议，不是通过搜索数据库，而是通过简单地预测它所知道的用户交互序列中的下一个项目。
工作原理如下：
生成检索的关键在于计算包含每个项目的上下文信息的“语义 ID”(SID)。像TIGER这样的生成检索系统分为两个阶段。首先，训练编码器模型，根据每个项目的描述和属性为其创建唯一的嵌入值。这些嵌入值将成为 SID，并与项目一起存储。
在第二阶段，训练一个转换器模型来预测输入序列中的下一个 SID。输入 SID 列表表示用户与过去项目的交互，而模型的预测则是要推荐的项目的 SID。生成式检索减少了跨单个项目嵌入存储和搜索的需求。因此，随着项目列表的增长，其推理和存储成本保持不变。它还增强了捕获数据中更深层次语义关系的能力，并提供了生成式模型的其他好处，例如修改温度以调整推荐的多样性。
高级生成检索
尽管生成式检索的存储和推理成本较低，但它也存在一些局限性。例如，它倾向于对训练期间见过的商品进行过度拟合，这意味着它很难处理在模型训练后添加到目录中的商品。在推荐系统中，这通常被称为“冷启动问题”，它涉及新用户和没有交互历史的商品。
为了解决这些缺点，Meta 开发了一种名为LIGER的混合推荐系统，它将生成检索的计算和存储效率与密集检索的强大嵌入质量和排名功能相结合。
在训练过程中，LIGER 使用相似度得分和下一个标记目标来改进模型的推荐。在推理过程中，LIGER 根据生成机制选择几个候选词，并为其补充一些冷启动项，然后根据生成的候选词的嵌入对其进行排序。
研究人员指出，“密集检索方法和生成检索方法的融合对于推进推荐系统具有巨大的潜力”，并且随着模型的发展，“它们将在现实世界的应用中变得越来越实用，从而实现更加个性化和响应迅速的用户体验”。
在另一篇论文中，研究人员介绍了一种名为“多模态偏好辨别器”（Mender）的新型多模态生成检索方法，该技术可使生成模型从用户与不同项目的交互中获取隐含偏好。Mender 建立在基于 SID 的生成检索方法之上，并添加了一些可以根据用户偏好丰富推荐的组件。
Mender 使用大型语言模型 (LLM) 将用户交互转化为具体的偏好。例如，如果用户在评论中赞扬或抱怨了某个特定商品，该模型会将其总结为对该产品类别的偏好。
主推荐模型经过训练，在预测输入序列中的下一个语义 ID 时，既要考虑用户交互序列，又要考虑用户偏好。这使推荐模型能够泛化和执行情境学习，并适应用户偏好，而无需对其进行明确训练。
研究人员写道：“我们的贡献为新一类生成检索模型铺平了道路，该模型能够利用有机数据通过文本用户偏好进行指导推荐。”
对企业应用程序的影响
生成检索系统提供的效率对企业应用具有重要意义。这些进步可以转化为直接的实际利益，包括降低基础设施成本和加快推理速度。无论目录大小如何，该技术都能保持恒定的存储和推理成本，这对于成长型企业来说尤其有价值。
其优势遍及各个行业，从电子商务到企业搜索。生成检索仍处于早期阶段，我们可以期待随着其成熟，应用程序和框架将会出现。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/meta-de-zui-xin-yan-jiu-ru-he-zheng-ming-ke-yi-shi-yong
