一、背景

在推荐系统中，LR由于简单高效，至今在各大互联网公司中仍广泛应用。但是互联网公司中的数据大都是高维稀疏，比如广告id，再加上各种人工的特征组合，特征维度很容易达到上亿维，使得内存的消耗和训练的时间都大大增加。并不是所有的稀疏特征对LR的训练都是有用的，对于pv(出现次数)或click(点击次数)特别小的特征，对LR训练并无多大帮助。下面会给出理论证明。

二、稀疏特征过滤

损失函数为：

其中：

对于第

维特征

，损失函数的梯度为：

其中：

• 当
  时，只要
  ，则
  单调递增
• 当
  时，只要
  ，则
  单调递减

因此，当

时，

在

处取得极小值

即满足下面的约束：

• 其中
  表示第
  维特征的点击次数。当
  时，左边的不等式恒成立。
• 由于
  ，因此当
  时，右边的式子恒成立，即

综上，当满足下面的式子，

在

处取得极小值:

因此满足上式的特征

三、总结

当特征

满足以下条件，学习出的权重为0，可以直接过滤。