问题预览/关键词
- 多元线性回归的函数是？如何向量化表达？
- 如何计算多元线性回归的成本函数的梯度？
- 正规方程法是什么？
- 正轨方程法的缺点是什么？
笔记
1.多元线性回归函数
5.1章节描述过。
- 向量化函数
- 原版函数
2.计算多元线性回归的成本函数的梯度
- 我们要分别计算每个w参数的梯度并分别更新。
- i表示第几行训练样本，有下角数字对应第几列特征，5.1章节的多元特征符号有详细描述。
- 如果计算w1，误差乘以第i组训练样本的第一个特征，乘积结果求和。如果计算w2，误差乘以第i组训练样本的第二个特征，乘积结果求和。如果计算wn，误差乘以第i组训练样本的第n个特征，乘积结果求和。
3.正规方程法
一种不需要迭代的算法，无需梯度下降，可以找到最佳w和b，一些机器学习库会用这种方法。
4.正规方程法缺点
无法推广到其他类型的学习算法，只适用于线性回归问题，对于特征数量巨大的数据集计算非常慢。
总结
多元线性回归和单元线性回归的公式很相似，需要注意的是，单元线性回归只更新一个w，而多元线性回归需要更新多个w。计算w的导数项过程中，单元线性回归只会乘以不同行的一列特征，而多元线性回归会根据更新的w，乘以不同行里对应w的多列特征，例如w1对应第一列，w2对应第二列。
)
