个性化推荐和用户兴趣的生成模型框架

News Message

个性化推荐和用户兴趣的生成模型框架

by wittx 2023-05-11

用户发布的文档

加载速度比较慢比较慢，请稍等，手机环境下，有可能无法显示！

GPT4Rec: A Generative Framework for Personalized Recommendation and User Interests Interpretation
地址：https://arxiv.53yu.com/pdf/2304.03879.pdf
公司：亚马逊
1. 导读

现有的基于NLP的推荐模型主要存在以下不足：

（1）未能充分利用item的内容信息和NLP模型的语言建模能力；
（2）无法解释用户兴趣，从而提高相关性和多样性；
（3）在实际使用时会有所限制，例如新item的冷启动等。

本文提出了GPT4Rec，受搜索引擎启发的新颖而灵活的生成框架。

首先基于给定用户历史记录中的item标题生成假设的“搜索查询”，
然后通过搜索这些查询来检索要推荐的item。

为了捕捉不同方面和粒度的用户兴趣，以提高相关性和多样性，本文提出了一种结合beam search的多查询生成技术。生成的查询自然充当用户兴趣的可解释表示，并且可以被搜索以推荐冷启动商品。

2. 方法

GPT4Rec如图1所示。首先，给定用户的商品交互序列，GPT4Rec通过提示（prompt）格式化商品标题（item title），并使用生成语言模型来学习语言空间中的商品和用户的embedding。然后，该模型生成表示用户兴趣的多个查询，这些查询将被提供给搜索引擎，以检索要推荐的商品。本文使用的语言模型为GPT-2，搜索引擎为BM25搜索引擎。

2.1 语言模型生成查询

GPT4Rec的第一个组件是生成语言模型，其目标是从商品交互序列中学习语言空间中的用户表征，然后生成表示用户兴趣的多个查询。对所选的GPT-2模型进行微调，该模型具有117M个参数，在大量语言语料上进行预训练，有助于捕捉用户兴趣和商品内容信息。通过实验，使用以下提示来格式化模型输入：提示中包含了商品标题中的语义信息，每个用户u的格式化输入表示为，GPT-2从中学习用户表征，然后能够基于条件分布生成查询序列。

为了更好地表征用户的不同兴趣并增加推荐结果的多样性，本文提出采用beam search生成多个查询。给定beam size为m，生成打分函数为，beam search简单解释就是基于打分函数S()会有很多打分，不是只选分数最优的，而是选取最优的m个，然后基于这m个生成的查询，使用打分函数得到m个查询对应的后选打分，然后继续选取最优的m个打分。