当推荐遇到大模型

自从大语言模型爆火之后，大家对大语言模型（LLM）如何成功应用在推荐系统进行了不少尝试。本文是对目前一些业界工作的调研和总结。

大模型应用范式

现阶段，经典推荐架构基本遵循以下范式：

目前, LLM 在推荐系统中的主流应用可以分为两种范式:

一个是作为经典推荐系统的辅助部分，即 LLM+RS。
一个是 LLM 单独作为一个完整的推荐系统，即 LLM AS RS。

本文接下来将分别介绍这两种应用方式。

LLM+RS

传统推荐系统经过多年发展，从召回、排序、重排到最终展示的架构已经比较成熟。LLM+RS 是将 LLM 作为推荐链路的一部分，来影响召回、排序等环节。LLM 影响推荐系统的方式多种多样。主要有以下几种:

利用大模型结构强大的学习能力，直接替换现有推荐模型的结构，如利用transformer进行序列建模等
利用大模型的表征能力，生成推荐物料(文本或图像)的表征向量 or $tag\ token$，作为现有推荐模型的输入

下面我们从上述方向出发，介绍每一个方向的代表工作。

利用大模型进行模型结构升级

这部分最典型的工作集中在推荐中的序列特征方面。因为序列特征天然和NLP的token输入天然具有相似性。经典的有BST， SASRec。

BST采用的是Transformer中的Encoder部分的结构进行序列特征的处理。结构如下图：

SASRec

SASRec借鉴了Transformer中Decoder部分的结构，输入的是用户行为序列，不断预测下一个用户交互的item(类似GPT)：

BERT4Rec

利用大模型进行向量/token表征

独立于现有推荐模型

NoteLLM

输入NoteLLM的Prompt的格式模板如下:

其中, [BOS], [EMB]和[EOS]为特殊token, 而<Instruction>, <Input Note>, <Output Guidance>和<Output>为占位符, 对于不同的任务会使用不同特定的内容来替换。

类别生成任务的笔记压缩提示模板如下:

主题标签生成任务的笔记压缩提示模板如下:

一个完整的prompt case：

Extract the note information in json format, compress it into one word for recommendation, and generate the category of the note.
{’title’: ‘How to Train Your Dragon’, ’topic’: ‘Movies’, ‘content’: ‘A young Viking forms a bond with a dragon.’}
The compression word is:"[EMB]".
The category is Fantasy.

学习目标分为两部分:

无监督的对比学习
有监督的category / topic预测

所以， loss为：

$$L=\frac{L_{cl}+\alpha L_{gen}}{1+\alpha}$$

其中：

$$L_{cl}=-\frac{1}{2B}\sum_{i=1}^{2B}log\frac{e^{sim(\boldsymbol{n}_{i},\boldsymbol{n}_{i}^{+})\cdot e^{\tau}}}{\sum_{j\in[2B]\setminus{i}}e^{sim(\boldsymbol{n}_{i},\boldsymbol{n}_{j})\cdot e^{\tau}}}$$

$$L_{gen}=-\frac{1}{T}\sum_{i=1}^{T}log(p(o_{i}|o_{<i},i))$$