LIGER – Meta AI 等机构推出的混合检索模型

LIGER是什么

LIGER是Meta AI等机构推出的混合检索模型，结合生成式检索和密集检索的优点。LIGER用生成式检索模块生成有限的候选项目集，基于密集检索对候选项目进行排序和优化，保留生成式检索在存储和推理效率上的优势，提高了推荐性能，特别是在处理冷启动项目时表现出色。 LIGER基于将语义ID和项目文本表示作为输入，预测下一个项目的语义ID和文本表示，有效地弥合生成式和密集检索之间的性能差距，为推荐系统提供高效且准确的解决方案。

LIGER的主要功能

• 高效生成候选项目：基于生成式检索模块，快速生成有限的候选项目集，减少需要进行密集检索的项目数量，提高检索效率。
• 优化候选项目排序：用密集检索对生成的候选项目进行排序和优化，确保推荐结果的准确性和相关性，提升用户体验。
• 处理冷启动项目：有效生成和推荐冷启动项目，解决新项目缺乏历史交互数据导致的推荐难题，增强推荐系统的鲁棒性。
• 结合语义信息：基于语义ID和项目文本表示，深入挖掘项目的语义信息，增强对项目内容的理解，提高推荐的精准度。

LIGER的技术原理

• 生成式检索模块：基于Transformer的生成模型，根据用户的交互历史和项目特征，生成候选项目的语义ID序列。基于语义ID表示项目的语义信息，减少对每个项目单独嵌入的需求。
• 密集检索模块：在生成的候选项目集上应用密集检索技术，用项目的文本表示和语义ID，计算候选项目与目标项目的相似度，对候选项目进行排序和优化，选出最相关的项目进行推荐。
• 多目标优化：在训练过程中，同时优化生成式检索和密集检索的目标函数，基于最小化生成式检索的预测误差和最大化密集检索的相似度，让模型在生成候选项目和优化排序方面都表现出色。
• 融合语义ID和文本表示：将语义ID和项目文本表示作为输入特征，基于编码器和解码器的协同工作，生成项目的嵌入表示，同时预测下一个项目的语义ID和文本表示，实现生成式和密集检索的有效融合。

LIGER的项目地址

LIGER的应用场景

• 电商平台：基于用户购物历史和偏好，生成并优化商品候选集，提供个性化推荐，提升购物体验和转化率。
• 内容平台：根据用户阅读习惯，生成相关文章候选集并排序，推荐最感兴趣的文章，增加用户阅读时长和平台粘性。
• 社交媒体：分析用户社交关系和互动，生成潜在好友候选集并排序，推荐可能成为好友的人，增强社交体验和网络拓展。
• 在线教育平台：依据学生学习历史和兴趣，生成并优化课程候选集，推荐最适合的课程，提高学习效果和教学质量。