推荐系统–矩阵分解(1)
推荐系统–矩阵分解(2)
推荐系统–矩阵分解(3)
推荐系统–矩阵分解(4)
推荐系统–矩阵分解(5)
推荐系统–矩阵分解(6)

1 引入

一个矩阵可以分解为两个小矩阵的乘积，以音乐为例，利用潜在特征向量来给用户和音乐打上标签：

以电影为例，利用潜在特征向量来给用户和电影打上标签：

推荐系统的评分矩阵是稀疏的，这里的潜在特征不可解释，要模型自己去学，$K$代表潜在特征的维度，其大小决定决定了潜在特征的表达能力，$K$越大，信息表达就越强，即用户的兴趣和物品的分类划分得就越具体。

2 SVD

评分矩阵$R_{m\times n}$可以分解为两个小矩阵$U_{m\times k}$，$V_{n\times k}$；此处$k\ll m\&k\ll n$。

$U$矩阵的一行表示用户$u$的特征向量$p_u$，$V$矩阵的一列表示物品$t_i$的特征向量$q_i$，利用这两个向量可以预测用户$u$对物品$t_i$的偏好：

$$\mathrm{Preference}(u,i)=\widehat{r_{ui}}=p_u^T{q}_i=\sum _{k=1}^K{p}_{u,k}{q}_{k,i}\text{\hspace{1em}(1)}$$
其优化目标函数为：
$$\underset{\theta }{\mathrm{argmin}}L(\theta )=\frac{1}{2}\underset{p_u,q_i}{\underbrace{\arg \min }}\sum _{u,i}{I}_{ui}\left[{\left(r_{ui}-p_u^T{q}_i\right)}^2\right]+\lambda (\Vert p_u{\Vert }_F^2+\Vert q_i{\Vert }_F^2)\text{\hspace{1em}(2)}$$
符号说明：
为了后面求梯度的时候好看一点，在函数前面加上了$\frac{1}{2}$；
$e_{ui}=r_{ui}-p_u^T{q}_i$；
$\theta$：矩阵分解的参数，即$p_u,q_i$；
$p_u$：用户$u$对应的向量，表示用户对电影某些题材的偏好程度，以潜在因子的方式表示；
$q_i$：项目$i$对电影某些题材的符合程度，以潜在因子的方式表示；
$\lambda$：正则项的系数。
对公式（2）第一项求偏导，得到如下公式：
$$\begin{array}{r}\frac{\partial L_1}{\partial p_{u,k}}=\frac{1}{2}\frac{\partial }{\partial p_{u,k}}\left(e_{ui}^2\right)=e_{ui}\frac{\partial }{\partial p_{u,k}}{e}_{ui}=e_{ui}\frac{\partial }{\partial p_{u,k}}\left(r_{ui}-\sum _{k=1}^K{p}_{u,k}{q}_{k,i}\right)=-e_{ui}{q}_{k,i}\\ \frac{\partial L_1}{\partial q_{k,i}}=\frac{1}{2}\frac{\partial }{\partial p_{k,i}}\left(e_{ui}^2\right)=e_{ui}\frac{\partial }{\partial p_{k,i}}{e}_{ui}=e_{ui}\frac{\partial }{\partial p_{k,i}}\left(r_{ui}-\sum _{k-1}^K{p}_{u,k}{q}_{k,i}\right)=-e_{ui}{p}_{u,k}\end{array}$$
对公式（2）第二项求偏导，得到如下公式：
$$\begin{array}{r}\frac{\partial L_2}{\partial p_{u,k}}=\lambda p_{u,k}\\ \frac{\partial L_2}{\partial q_{k,i}}=\lambda q_{k,i}\end{array}$$
整理后可得到迭代公式为：
$$\begin{array}{rl}{p}_{u,k}& =p_{u,k}+\eta \left(e_{ui}{q}_{k,i}-\lambda p_{u,k}\right)\\ q_{k,i}& =q_{k,i}+\eta \left(e_{ui}{p}_{u,k}-\lambda q_{i,k}\right)\end{array}\text{\hspace{1em}(3)}$$
符号说明：
$\eta$: 更新步长，一般取0.005。