推荐系统知识点整理

1.灌水部分

1.1 推荐系统的意义

平台方

信息生产者(物品)

信息消费者(用户)

推荐和搜索的区别

1. 用户意图：搜索时的用户意图是非常明确的，用户通过查询的关键词主动发起搜索请求。对于推荐而言，用户的需求是不明确的，推荐系统在通过对用户历史兴趣的分析给用户推荐他们可能感兴趣的内容。

2. 个性化程度：对于搜索而言，由于限定的了搜索词，所以展示的内容对于用户来说是有标准答案的，所以搜索的个性化程度较低。而对于推荐来说，推荐的内容本身就是没有标准答案的，每个人都有不同的兴趣，所以每个人展示的内容，个性化程度比较强。

3. 优化目标：对于搜索系统而言，更希望可以快速地、准确地定位到标准答案，所以希望搜索结果中答案越靠前越好，通常评价指标有：归一化折损累计收益（NDCG）、精确率（Precision）和召回率（Recall）。对于推荐系统而言，因为没有标准的答案，所以优化目标可能会更宽泛。例如用户停留时长、点击、多样性，评分等。不同的优化目标又可以拆解成具体的不同的评价指标。

4. 马太效应和长尾理论：对于搜索系统来说，用户的点击基本都集中在排列靠前的内容上，对于排列靠后的很少会被关注，这就是马太效应。而对于推荐系统来说，热门物品被用户关注更多，冷门物品不怎么被关注的现象也是存在的，所以也存在马太效应。此外，在推荐系统中，冷门物品的数量远远高于热门物品的数量，所以物品的长尾性非常明显。

1.2 常规算法

• 召回：从推荐池中选取几千上万的item，送给后续的排序模块。由于召回面对的候选集十分大，且一般需要在线输出，故召回模块必须轻量快速低延迟。由于后续还有排序模块作为保障，召回不需要十分准确，但不可遗漏（特别是搜索系统中的召回模块）。目前基本上采用多路召回解决范式，分为非个性化召回和个性化召回。个性化召回又有content-based、behavior-based、feature-based等多种方式。

• 粗排：粗拍的原因是有时候召回的结果还是太多，精排层速度还是跟不上，所以加入粗排。粗排可以理解为精排前的一轮过滤机制，减轻精排模块的压力。粗排介于召回和精排之间，要同时兼顾精准性和低延迟。一般模型也不能过于复杂

• 精排：获取粗排模块的结果，对候选集进行打分和排序。精排需要在最大时延允许的情况下，保证打分的精准性，是整个系统中至关重要的一个模块，也是最复杂，研究最多的一个模块。精排系统构建一般需要涉及样本、特征、模型三部分。

• 重排：获取精排的排序结果，基于运营策略、多样性、context上下文等，重新进行一个微调。比如三八节对美妆类目商品提权，类目打散、同图打散、同卖家打散等保证用户体验措施。重排中规则比较多，但目前也有不少基于模型来提升重排效果的方案。

• 混排：多个业务线都想在Feeds流中获取曝光，则需要对它们的结果进行混排。比如推荐流中插入广告、视频流中插入图文和banner等。可以基于规则策略（如广告定坑）和强化学习来实现。

召回/粗排

1. 考虑用户层面：用户兴趣的多元化，用户需求与场景的多元化：例如：新闻需求，重大要闻，相关内容沉浸阅读等等

2. 考虑系统层面：增强系统的鲁棒性；部分召回失效，其余召回队列兜底不会导致整个召回层失效；排序层失效，召回队列兜底不会导致整个推荐系统失效

3. 系统多样性内容分发：图文、视频、小视频；精准、试探、时效一定比例；召回目标的多元化，例如：相关性，沉浸时长，时效性，特色内容等等

4. 可解释性推荐一部分召回是有明确推荐理由的：很好的解决产品性数据的引入；

经典模型召回

序列模型召回

用户序列拆分

精排

重排序

2.协同过滤

2.1 基本思想

• 根据用户之前的喜好以及其他兴趣相近的用户的选择来给用户推荐物品。
• 基于对用户历史行为数据的挖掘发现用户的喜好偏向， 并预测用户可能喜好的产品进行推荐。
• 一般是仅仅基于用户的行为数据（评价、购买、下载等）, 而不依赖于项的任何附加信息（物品自身特征）或者用户的任何附加信息（年龄， 性别等）。

• 目前应用比较广泛的协同过滤算法是基于邻域的方法，主要有：
• 基于用户的协同过滤算法（UserCF）：给用户推荐和他兴趣相似的其他用户喜欢的产品。
• 基于物品的协同过滤算法（ItemCF）：给用户推荐和他之前喜欢的物品相似的物品。

2.2 相似性度量方法

1. 杰卡德（Jaccard）相似系数
Jaccard 系数是衡量两个集合的相似度一种指标，计算公式如下：
$$sim_{uv}=\frac{|N(u) \cap N(v)|}{|N(u)| \cup|N(v)|}$$
• 其中 N(u)，N(v) 分别表示用户 u 和用户 v 交互物品的集合。
• 对于用户 u 和 v ，该公式反映了两个交互物品交集的数量占这两个用户交互物品并集的数量的比例。
由于杰卡德相似系数一般无法反映具体用户的评分喜好信息，所以常用来评估用户是否会对某物品进行打分， 而不是预估用户会对某物品打多少分。

2. 余弦相似度 余弦相似度衡量了两个向量的夹角，夹角越小越相似。余弦相似度的计算如下，其与杰卡德（Jaccard）相似系数只是在分母上存在差异：
$$sim_{uv}=\frac{|N(u) \cap N(v)|}{\sqrt{|N(u)|\cdot|N(v)|}}$$
从向量的角度进行描述，令矩阵 A 为用户-物品交互矩阵，矩阵的行表示用户，列表示物品。
• 设用户和物品数量分别为 m,n，交互矩阵A就是一个 m 行 n 列的矩阵。
• 矩阵中的元素均为 0/1。若用户 i 对物品 j 存在交互，那么 A_{i,j}=1，否则为 0 。
• 那么，用户之间的相似度可以表示为：
• 向量 u,v 在形式都是 one-hot 类型，u\cdot v 表示向量点积。
上述用户-物品交互矩阵在现实中是十分稀疏的，为了节省内存，交互矩阵会采用字典进行存储。在 sklearn 中，余弦相似度的实现：

from sklearn.metrics.pairwise import cosine_similarity

i = [1, 0, 0, 0]
j = [1, 0, 1, 0]
cosine_similarity([i, j])

3. 皮尔逊相关系数
在用户之间的余弦相似度计算时，将用户向量的内积展开为各元素乘积和：
$$sim_{uv} = \frac{\sum_i r_{ui}*r_{vi}}{\sqrt{\sum_i r_{ui}^2}\sqrt{\sum_i r_{vi}^2}}$$
• 其中，r_{ui},r_{vi} 分别表示用户 u 和用户 v 对物品 i 是否有交互(或具体评分值)。
皮尔逊相关系数与余弦相似度的计算公式非常的类似，如下：
$$sim(u,v)=\frac{\sum_{i\in I}(r_{ui}-\bar r_u)(r_{vi}-\bar r_v)}{\sqrt{\sum_{i\in I }(r_{ui}-\bar r_u)^2}\sqrt{\sum_{i\in I }(r_{vi}-\bar r_v)^2}}$$
• 其中，r_{ui},r_{vi} 分别表示用户 u 和用户 v 对物品 i 是否有交互(或具体评分值)；
• \bar r_u, \bar r_v 分别表示用户 u 和用户 v 交互的所有物品交互数量或者评分的平均值；
相较于余弦相似度，皮尔逊相关系数通过使用用户的平均分对各独立评分进行修正，减小了用户评分偏置的影响。在scipy中，皮尔逊相关系数的实现：

from scipy.stats import pearsonr

i = [1, 0, 0, 0]
j = [1, 0.5, 0.5, 0]
pearsonr(i, j)

• Jaccard 相似度表示两个集合的交集元素个数在并集中所占的比例 ，所以适用于隐式反馈数据（0-1）。

• 余弦相似度在度量文本相似度、用户相似度、物品相似度的时候都较为常用。

• 皮尔逊相关度，实际上也是一种余弦相似度。不过先对向量做了中心化，范围在 -1 到 1。
• 相关度量的是两个变量的变化趋势是否一致，两个随机变量是不是同增同减。
• 不适合用作计算布尔值向量（0-1）之间相关度。

2.3 基于用户的协同过滤

基本思想

• 例如，我们要对用户 A 进行物品推荐，可以先找到和他有相似兴趣的其他用户。

• 然后，将共同兴趣用户喜欢的，但用户 A 未交互过的物品推荐给 A。

计算过程

• 首先，根据前面的这些打分情况(或者说已有的用户向量）计算一下 Alice 和用户1， 2， 3， 4的相似程度， 找出与 Alice 最相似的 n 个用户。

• 根据这 n 个用户对物品 5 的评分情况和与 Alice 的相似程度会猜测出 Alice 对物品5的评分。如果评分比较高的话， 就把物品5推荐给用户 Alice， 否则不推荐。

具体过程

• 根据 1.2 节的几种方法， 我们可以计算出各用户之间的相似程度。对于用户 Alice，选取出与其最相近的 N 个用户。

• 常用的方式之一：利用目标用户与相似用户之间的相似度以及相似用户对物品的评分，来预测目标用户对候选物品的评分估计：
• 其中，权重 w_{u,s} 是用户 u 和用户 s 的相似度， R_{s,p} 是用户 s 对物品 p 的评分。

• 另一种方式：考虑到用户评分的偏置，即有的用户喜欢打高分， 有的用户喜欢打低分的情况。公式如下：
$$R_{\mathrm{u}, \mathrm{p}}=\bar{R}_{u} + \frac{\sum_{\mathrm{s} \in S}\left(w_{\mathrm{u}, \mathrm{s}} \cdot \left(R_{s, p}-\bar{R}_{s}\right)\right)}{\sum_{\mathrm{s} \in S} w_{\mathrm{u}, \mathrm{s}}}$$
• 其中，\bar{R}_{s} 表示用户 s 对物品的历史平均评分。

• 在获得用户 u 对不同物品的评价预测后， 最终的推荐列表根据预测评分进行排序得到。

2.4基于物品的协同过滤

基本思想

• 预先根据所有用户的历史行为数据，计算物品之间的相似性。

• 然后，把与用户喜欢的物品相类似的物品推荐给用户。

计算过程

• 首先计算一下物品5和物品1， 2， 3， 4之间的相似性。

• 在Alice找出与物品 5 最相近的 n 个物品。

• 根据 Alice 对最相近的 n 个物品的打分去计算对物品 5 的打分情况。

手动计算：

1. 手动计算物品之间的相似度

物品向量: 物品 1(3,4,3,1) ,物品2(1,3,3,5) ,物品3(2,4,1,5) ,物品4(3,3,5,2) ,物品5(3,5,41)

2. 基于 sklearn 计算物品之间的皮尔逊相关系数：

1. 根据皮尔逊相关系数， 可以找到与物品5最相似的2个物品是 item1 和 item4， 下面基于上面的公式计算最终得分：

3.算法评估

3.1 召回率

• 含义：在模型召回预测的物品中，预测准确的物品占用户实际喜欢的物品的比例。

3.2 精确率

• 含义：推荐的物品中，对用户准确推荐的物品占总物品的比例。

• 如要确保召回率高，一般是推荐更多的物品，期望推荐的物品中会涵盖用户喜爱的物品。而实际中，推荐的物品中用户实际喜爱的物品占少数，推荐的精确率就会很低。故同时要确保高召回率和精确率往往是矛盾的，所以实际中需要在二者之间进行权衡。

3.3 覆盖率

• 含义：推荐系统能够推荐出来的物品占总物品集合的比例。
• 其中 |I| 表示所有物品的个数；
• 系统的用户集合为U;
• 推荐系统给每个用户推荐一个长度为 N 的物品列表R(u).

• 覆盖率表示最终的推荐列表中包含多大比例的物品。如果所有物品都被给推荐给至少一个用户， 那么覆盖率是100%。

3.4 新颖度

4.排序

4.1 GBDT+LR简介

4.2 逻辑回归模型

1. 将用户年龄、性别、物品属性、物品描述、当前时间、当前地点等特征转成数值型向量

2. 确定逻辑回归的优化目标，比如把点击率预测转换成二分类问题， 这样就可以得到分类问题常用的损失作为目标， 训练模型

3. 在预测的时候， 将特征向量输入模型产生预测， 得到用户“点击”物品的概率

4. 利用点击概率对候选物品排序， 得到推荐列表

1. LR模型形式简单，可解释性好，从特征的权重可以看到不同的特征对最后结果的影响。

2. 训练时便于并行化，在预测时只需要对特征进行线性加权，所以性能比较好，往往适合处理海量id类特征，用id类特征有一个很重要的好处，就是防止信息损失（相对于范化的 CTR 特征），对于头部资源会有更细致的描述

3. 资源占用小,尤其是内存。在实际的工程应用中只需要存储权重比较大的特征及特征对应的权重。

4. 方便输出结果调整。逻辑回归可以很方便的得到最后的分类结果，因为输出的是每个样本的概率分数，我们可以很容易的对这些概率分数进行cutoff，也就是划分阈值(大于某个阈值的是一类，小于某个阈值的是一类)

1. 表达能力不强， 无法进行特征交叉， 特征筛选等一系列“高级“操作（这些工作都得人工来干， 这样就需要一定的经验， 否则会走一些弯路）， 因此可能造成信息的损失

2. 准确率并不是很高。因为这毕竟是一个线性模型加了个sigmoid， 形式非常的简单(非常类似线性模型)，很难去拟合数据的真实分布

3. 处理非线性数据较麻烦。逻辑回归在不引入其他方法的情况下，只能处理线性可分的数据， 如果想处理非线性， 首先对连续特征的处理需要先进行离散化（离散化的目的是为了引入非线性），如上文所说，人工分桶的方式会引入多种问题。

4. LR 需要进行人工特征组合，这就需要开发者有非常丰富的领域经验，才能不走弯路。这样的模型迁移起来比较困难，换一个领域又需要重新进行大量的特征工程。

4.3 GBDT模型

1. 初始化GBDT 和回归问题一样， 分类 GBDT 的初始状态也只有一个叶子节点，该节点为所有样本的初始预测值，如下：

上式里面， $F$代表GBDT模型， $F_0$是模型的初识状态， 该式子的意思是找到一个$\gamma$，使所有样本的 Loss 最小，在这里及下文中，$\gamma$都表示节点的输出，即叶子节点， 且它是一个 $log(\eta_i)$ 形式的值(回归值)，在初始状态，$\gamma =F_0$。

    下面看例子(该例子来自下面的第二个链接)， 假设我们有下面3条样本：

1. 循环生成决策树 这里回忆一下回归树的生成步骤， 其实有4小步， 第一就是计算负梯度值得到残差， 第二步是用回归树拟合残差， 第三步是计算叶子节点的输出值， 第四步是更新模型。 下面我们一一来看：
1. 计算负梯度得到残差
$$r_{i m}=-\left[\frac{\partial L\left(y_{i}, F\left(x_{i}\right)\right)}{\partial F\left(x_{i}\right)}\right]_{F(x)=F_{m-1}(x)}$$
此处使用m-1棵树的模型， 计算每个样本的残差r_{im}, 就是上面的y_i-pi, 于是例子中， 每个样本的残差：



2. 使用回归树来拟合r_{im}， 这里的i表示样本哈，回归树的建立过程可以参考下面的链接文章，简单的说就是遍历每个特征， 每个特征下遍历每个取值， 计算分裂后两组数据的平方损失， 找到最小的那个划分节点。 假如我们产生的第2棵决策树如下：
3. 对于每个叶子节点j, 计算最佳残差拟合值
$$\gamma_{j m}=\arg \min _{\gamma} \sum_{x \in R_{i j}} L\left(y_{i}, F_{m-1}\left(x_{i}\right)+\gamma\right)$$
意思是， 在刚构建的树m中， 找到每个节点j的输出\gamma_{jm}, 能使得该节点的loss最小。 那么我们看一下这个\gamma的求解方式， 这里非常的巧妙。 首先， 我们把损失函数写出来， 对于左边的第一个样本， 有
$$L\left(y_{1}, F_{m-1}\left(x_{1}\right)+\gamma\right)=-y_{1}\left(F_{m-1}\left(x_{1}\right)+\gamma\right)+\log \left(1+e^{F_{m-1}\left(x_{1}\right)+\gamma}\right)$$
这个式子就是上面推导的l， 因为我们要用回归树做分类， 所以这里把分类的预测概率转换成了对数几率回归的形式， 即log(\eta_i)， 这个就是模型的回归输出值。而如果求这个损失的最小值， 我们要求导， 解出令损失最小的\gamma。 但是上面这个式子求导会很麻烦， 所以这里介绍了一个技巧就是使用二阶泰勒公式来近似表示该式， 再求导， 还记得伟大的泰勒吗？
$$f(x+\Delta x) \approx f(x)+\Delta x f^{\prime}(x)+\frac{1}{2} \Delta x^{2} f^{\prime \prime}(x)+O(\Delta x)$$
这里就相当于把L(y_1, F_{m-1}(x_1))当做常量f(x)， \gamma作为变量\Delta x， 将f(x)二阶展开：
$$L\left(y_{1}, F_{m-1}\left(x_{1}\right)+\gamma\right) \approx L\left(y_{1}, F_{m-1}\left(x_{1}\right)\right)+L^{\prime}\left(y_{1}, F_{m-1}\left(x_{1}\right)\right) \gamma+\frac{1}{2} L^{\prime \prime}\left(y_{1}, F_{m-1}\left(x_{1}\right)\right) \gamma^{2}$$
这时候再求导就简单了
$$\frac{d L}{d \gamma}=L^{\prime}\left(y_{1}, F_{m-1}\left(x_{1}\right)\right)+L^{\prime \prime}\left(y_{1}, F_{m-1}\left(x_{1}\right)\right) \gamma$$
Loss最小的时候， 上面的式子等于0， 就可以得到\gamma:
$$\gamma_{11}=\frac{-L^{\prime}\left(y_{1}, F_{m-1}\left(x_{1}\right)\right)}{L^{\prime \prime}\left(y_{1}, F_{m-1}\left(x_{1}\right)\right)}$$
因为分子就是残差(上述已经求到了)， 分母可以通过对残差求导，得到原损失函数的二阶导：
$$\begin{aligned} L^{\prime \prime}\left(y_{1}, F(x)\right) &=\frac{d L^{\prime}}{d \log (\eta_1)} \\ &=\frac{d}{d \log (\eta_1)}\left[-y_{i}+\frac{e^{\log (\eta_1)}}{1+e^{\log (\eta_1)}}\right] \\ &=\frac{d}{d \log (\eta_1)}\left[e^{\log (\eta_1)}\left(1+e^{\log (\eta_1)}\right)^{-1}\right] \\ &=e^{\log (\eta_1)}\left(1+e^{\log (\eta_1)}\right)^{-1}-e^{2 \log (\eta_1)}\left(1+e^{\log (\eta_1)}\right)^{-2} \\ &=\frac{e^{\log (\eta_1)}}{\left(1+e^{\log (\eta_1)}\right)^{2}} \\ &=\frac{\eta_1}{(1+\eta_1)}\frac{1}{(1+\eta_1)} \\ &=p_1(1-p_1) \end{aligned}$$
这时候， 就可以算出该节点的输出：
$$\gamma_{11}=\frac{r_{11}}{p_{10}\left(1-p_{10}\right)}=\frac{0.33}{0.67 \times 0.33}=1.49$$
这里的下面\gamma_{jm}表示第m棵树的第j个叶子节点。 接下来是右边节点的输出， 包含样本2和样本3， 同样使用二阶泰勒公式展开：
$$\begin{array}{l} L\left(y_{2}, F_{m-1}\left(x_{2}\right)+\gamma\right)+L\left(y_{3}, F_{m-1}\left(x_{3}\right)+\gamma\right) \\ \approx L\left(y_{2}, F_{m-1}\left(x_{2}\right)\right)+L^{\prime}\left(y_{2}, F_{m-1}\left(x_{2}\right)\right) \gamma+\frac{1}{2} L^{\prime \prime}\left(y_{2}, F_{m-1}\left(x_{2}\right)\right) \gamma^{2} \\ +L\left(y_{3}, F_{m-1}\left(x_{3}\right)\right)+L^{\prime}\left(y_{3}, F_{m-1}\left(x_{3}\right)\right) \gamma+\frac{1}{2} L^{\prime \prime}\left(y_{3}, F_{m-1}\left(x_{3}\right)\right) \gamma^{2} \end{array}$$
求导， 令其结果为0，就会得到， 第1棵树的第2个叶子节点的输出：
$$\begin{aligned} \gamma_{21} &=\frac{-L^{\prime}\left(y_{2}, F_{m-1}\left(x_{2}\right)\right)-L^{\prime}\left(y_{3}, F_{m-1}\left(x_{3}\right)\right)}{L^{\prime \prime}\left(y_{2}, F_{m-1}\left(x_{2}\right)\right)+L^{\prime \prime}\left(y_{3}, F_{m-1}\left(x_{3}\right)\right)} \\ &=\frac{r_{21}+r_{31}}{p_{20}\left(1-p_{20}\right)+p_{30}\left(1-p_{30}\right)} \\ &=\frac{0.33-0.67}{0.67 \times 0.33+0.67 \times 0.33} \\ &=-0.77 \end{aligned}$$
可以看出， 对于任意叶子节点， 我们可以直接计算其输出值：
$$\gamma_{j m}=\frac{\sum_{i=1}^{R_{i j}} r_{i m}}{\sum_{i=1}^{R_{i j}} p_{i, m-1}\left(1-p_{i, m-1}\right)}$$
4. 更新模型F_m(x)
$$F_{m}(x)=F_{m-1}(x)+\nu \sum_{j=1}^{J_{m}} \gamma_{m}$$
这样， 通过多次循环迭代， 就可以得到一个比较强的学习器F_m(x)

4.4 GBDT+LR模型

1. 通过GBDT进行特征组合之后得到的离散向量是和训练数据的原特征一块作为逻辑回归的输入， 而不仅仅全是这种离散特征

2. 建树的时候用ensemble建树的原因就是一棵树的表达能力很弱，不足以表达多个有区分性的特征组合，多棵树的表达能力更强一些。GBDT每棵树都在学习前面棵树尚存的不足，迭代多少次就会生成多少棵树。

3. RF也是多棵树，但从效果上有实践证明不如GBDT。且GBDT前面的树，特征分裂主要体现对多数样本有区分度的特征；后面的树，主要体现的是经过前N颗树，残差仍然较大的少数样本。优先选用在整体上有区分度的特征，再选用针对少数样本有区分度的特征，思路更加合理，这应该也是用GBDT的原因。

4. 在CRT预估中， GBDT一般会建立两类树(非ID特征建一类， ID类特征建一类)， AD，ID类特征在CTR预估中是非常重要的特征，直接将AD，ID作为feature进行建树不可行，故考虑为每个AD，ID建GBDT树。
1. 非ID类树：不以细粒度的ID建树，此类树作为base，即便曝光少的广告、广告主，仍可以通过此类树得到有区分性的特征、特征组合
2. ID类树：以细粒度 的ID建一类树，用于发现曝光充分的ID对应有区分性的特征、特征组合

5.关于本项目

5.1 赛题简介

5.2 数据概况

5.3 赛题理解

• 首先是目标上， 要预测最后一次点击的新闻文章，也就是我们给用户推荐的是新闻文章， 并不是像之前那种预测一个数或者预测数据哪一类那样的问题

• 数据上， 通过给出的数据我们会发现， 这种数据也不是我们之前遇到的那种特征+标签的数据，而是基于了真实的业务场景， 拿到的用户的点击日志

数据表

字段表

5.4 算法流程概述（教程）

Baseline流程

多路召回

特征工程

1. 文章的自身特征， category_id表示这文章的类型， created_at_ts表示文章建立的时间， 这个关系着文章的时效性， words_count是文章的字数， 一般字数太长我们不太喜欢点击, 也不排除有人就喜欢读长文。

2. 文章的内容embedding特征， 这个召回的时候用过， 这里可以选择使用， 也可以选择不用， 也可以尝试其他类型的embedding特征， 比如W2V等

3. 用户的设备特征信息

1. 候选item与最后几次点击的相似性特征(embedding内积） --- 这个直接关联用户历史行为

2. 候选item与最后几次点击的相似性特征的统计特征 --- 统计特征可以减少一些波动和异常

3. 候选item与最后几次点击文章的字数差的特征 --- 可以通过字数看用户偏好

4. 候选item与最后几次点击的文章建立的时间差特征 --- 时间差特征可以看出该用户对于文章的实时性的偏好

1. 我们首先获得用户的最后一次点击操作和用户的历史点击， 这个基于我们的日志数据集做

2. 基于用户的历史行为制作特征， 这个会用到用户的历史点击表， 最后的召回列表， 文章的信息表和embedding向量

3. 制作标签， 形成最后的监督学习数据集

排序模型

1. LGB的排序模型

2. LGB的分类模型

3. 深度学习的分类模型DIN

1. 输出结果加权融合

2. Staking（将模型的输出结果再使用一个简单模型进行预测）

模型融合

def get_ensumble_predict_topk(rank_model, topk=5):

finall_trn_ranker_feats = trn_lgb_ranker_feats[['user_id', 'click_article_id', 'label']]
finall_tst_ranker_feats = tst_lgb_ranker_feats[['user_id', 'click_article_id']]

for idx, trn_model in enumerate([trn_lgb_ranker_feats, trn_lgb_cls_feats, trn_din_cls_feats]):
    for feat in [ 'pred_score', 'pred_rank']:
        col_name = feat + '_' + str(idx)
        finall_trn_ranker_feats[col_name] = trn_model[feat]

for idx, tst_model in enumerate([tst_lgb_ranker_feats, tst_lgb_cls_feats, tst_din_cls_feats]):
    for feat in [ 'pred_score', 'pred_rank']:
        col_name = feat + '_' + str(idx)
        finall_tst_ranker_feats[col_name] = tst_model[feat]

6.第二名的算法

作者自述

方案总结

召回

改进版 itemcf

日志中所有出现过的新闻只有3w多个，而整个新闻库中却有30多万。用户可能会点击一些没有在日志数据中出现的新闻。从线下验证集来看，大概有12%待预测新闻没有出现在历史点击记录里。为了缓解冷启动问题，在计算新闻相似度的时候可以考虑加入内容相似度。但是基于数据集给的新闻 embedding 向量表示做向量召回的效果很差劲，所以最后在 itemcf 中没有引入新闻的内容相似度。

基于网络关系的召回

w2v 向量召回

# 模型训练
model = Word2Vec(sentences=sentences, size=256,  window=3,  min_count=1, sg=1, hs=0, seed=seed, negative=5, workers=10, iter=1)

召回合并

排序

特征工程

• 新闻字数

• 新闻创建时间

• 新闻被阅读数量

• 用户点击新闻的创建时间差的平均值

• 用户点击新闻的点击时间差的平均值

• 用户点击新闻的点击-创建时间差的统计值：mean，std

• 用户点击新闻的 click_datetime_hour 统计值

• 用户点击新闻的字数统计值

• 用户点击新闻的创建时间统计值

• 用户点击新闻的点击时间统计值

• 用户新闻阅读数量

• 用户某种类新闻阅读数量

• 待预测新闻和用户所有历史点击新闻相似度按次序加权求和

• 待预测新闻和用户最近一次点击新闻相似度

模型

算法流程

data.py

7.第三名的算法

作者自述

题意分析

制作标签

协同过滤策略

其他召回策略

点击时刻与文章投稿时刻

• 协同过滤召回的范围为用户最后一次点击时刻之前的0~27小时内的文章

• 热门文章召回的范围为用户最后一次点击时刻之前的3~27小时内的文章

召回件数

特征工程

• 用户看过的文章的平均字数

• 用户看过的文章的最小字数

• 用户看过的文章的最大字数

• 最后两次点击的间隔，若不存在设为nan

• 最后两次点击的文章的投稿间隔，若不存在设为nan

• 最后一篇文章和平均字数的差值

• 最后一次点击时刻与文章投稿时刻的差值

数据分割

LightGBM的超参调整

其他

• 计算相似度的地方，由于本来所花时间有点长，所以使用了multiprocessing库来做进程并行处理。

• 有些每次生成需要花大量时间(比如字典)的对象，生成完毕后保存成pkl文件，下次文件存在的话就直接读取文件。