一文梳理序列化推荐算法模型进展
以下文章来源于机器学习与推荐算法 ，作者朱勇椿
专注于分享经典的推荐技术，致力于传播基础的机器学习、深度学习、数据挖掘等方面的知识。
文本将序列推荐分为以下几个方面：
· 标准序列推荐
· 长短期序列推荐
· 多兴趣表示的序列推荐
· 多行为序列推荐
· 其他序列推荐
一、标准序列推荐
1.1 Pooling
将用户交互过的item的embedding，取个均值，作为序列特征加入推荐模型，比如google的推荐模型[1]。这种方法简单有效，也是业界最常见的使用序列特征的手段。
1.2 RNN-based
RNN是一种进行序列建模的非常使用的方法，广泛用于各种序列建模，比如文本、语音等等。GRU4Rec[2]将RNN引入了session-based推荐系统，将一个session内的交互作为序列历史，进行序列建模。
1.3 CNN-based
TextCNN将CNN引入了序列建模，Caser[3]将CNN引入了序列推荐。Caser中指出现在的Markov chain models只能建模point-level sequential patterns，不能建模union-level patterns，而CNN可以很好的解决这个问题。
1.4 Attention-based
上述方法没有考虑用户序列行为中哪些交互是比较重要的，注意力机制(attention)是一个很好的解决方法。SASRec[4]提出了一种基于自注意力的序列推荐方法。
1.5 Memory-based
上述的方法只对序列交互进行了建模，而没有存储下来，当序列很长时可能会遗忘一些过去的交互，RUM[6]引入了用户记忆模块，来存储序列交互的信息。
1.6 Transformer-based
Transformer在NLP任务上取得了显著的提升，基于Transformer提出了Bert等大型预训练模型。Bert4Rec[7]将这类结构思路引入了推荐系统。
二、长短期序列推荐
用户可能拥有大量交互历史，长期交互和短期交互对用户当前兴趣可能有着不同的影响，因此有必要区分用户的长短期行为。SHAN将用户行为分为长期的和短期的，使用层次注意力网络进行建模。
三、多兴趣表示的序列推荐
上述的方法通常是将用户行为编码为一个表示，但是用户的兴趣偏好通常是多个方面的，因此有方法将用户的序列行为编码为多个兴趣表示向量[9]。
四、多行为序列推荐
用户通常有多种不同的行为序列，比如点击、分享、购买等等。因此对多行为序列建模来抓获用户兴趣偏好也是非常有必要的[10]。
五、其他序列推荐
现在还有一些其他的序列推荐方法，比如用对比学习来做序列推荐任务[11]。
另外还有一些和序列推荐很接近的任务，比如next basket[12]。
六、总结
显式地建模用户的历史交互行为对提升推荐的效果有很大的作用，因此需要使用一种高效的模块进行序列建模，此外还应该考虑长短期序列、多行为序列、多兴趣表示等多个角度的序列建模。当然在某些场景序列特征可能作用不大，可以先用pooling简单试试序列特征的效果。
https://github.com/hongleizhang/RSPapers
参考:
[2] Session-based Recommendations with Recurrent Neural Networks. ICLR2016.
[3] Personalized Top-N Sequential Recommendation via Convolutional Sequence Embedding. WSDM2018.
[4] Self-Attentive Sequential Recommendation. ICDM2018.
[5] Deep Interest Network for Click-Through Rate Prediction. KDD2018.
[6] Sequential Recommendation with User Memory Networks. WSDM2018.
[7] BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer. CIKM2019.
[8] Sequential Recommender System based on Hierarchical Attention Networks. IJCAI2018.
[9] Controllable Multi-Interest Framework for Recommendation. KDD2020.
[10] Incorporating User Micro-behaviors and Item Knowledge into Multi-task Learning for Session-based Recommendation. SIGIR2021.
[11] Disentangled Self-Supervision in Sequential Recommenders. KDD2020.
Illustration by Ivan Haidutski from Icons8
-The End-
“AI技术流”原创投稿计划
TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线330+期talk视频，900+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。
投稿内容
// 最新技术解读/系统性知识分享 //
// 前沿资讯解说/心得经历讲述 //
投稿须知
稿件需要为原创文章，并标明作者信息。
我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励。
投稿方式
发送邮件到
chenhongyuan@thejiangmen.com
或添加工作人员微信（chemn493）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。
>>> 投稿请添加工作人员微信！
本周上新！
