文章目录
- 解释
- 可视化证明
- 数乘角度进行解释
- 可视化代码领取
解释
在机器学习中，特别是支持向量机（SVM）和线性回归等模型中，参数 w w w和 b b b分别代表权重向量和偏置项。当说 w w w和 b b b成规模变化对超平面没有影响时，是指在某些情况下，改变 w w w和 b b b的尺度不会改变模型的决策边界或超平面。
具体来说，考虑一个线性分类器，其决策函数可以表示为：
f ( x ) = w T x + b f(x)=w^Tx+b f(x)=wTx+b
如果对 w w w和 b b b进行成比例的缩放，例如乘以一个常数 k k k，那么新的参数变为 k w kw kw和 k b kb kb。此时，决策函数变为：
f ′ ( x ) = ( k w ) T x + k b = k ( w T x + b ) = k f ( x ) f'(x)=(kw)^Tx+kb=k(w^Tx+b)=kf(x) f′(x)=(kw)Tx+kb=k(wTx+b)=kf(x)
可以看到，新的决策函数 f ′ ( x ) f'(x) f′(x)只是原决策函数 f ( x ) f(x) f(x)的一个常数倍。在分类问题中，这并不会改变决策边界的位置，因为分类的阈值（通常是0）也会相应地缩放。在回归问题中，这也不会改变模型的预测值，因为预测值只是被乘以一个常数。
因此，尽管 w w w和 b b b的数值发生了变化，但模型的本质特性（如决策边界或预测值）并没有改变。这就是为什么 w w w和 b b b成规模变化对超平面没有影响的原因。
w w w和 b b b的成比例变化不会改变模型的决策边界或预测值，因为这种变化可以通过相应的阈值或输出缩放来抵消。
可视化证明
参数
w1, w2, w3 = 1, -1, 2 # 权重
b = 0.5 # 偏置
参数：
h1, h2, h3 = 2, -2, 4 # 权重
b0 = 1 # 偏置
两者叠加展示
数乘角度进行解释
w和b同比例变化相当于对增广矩阵进行了数乘。
在几何上，数乘矩阵（即矩阵乘以一个标量）相当于对矩阵中的每个元素进行缩放操作。这种缩放操作在几何上可以解释为对矩阵所表示的几何对象进行均匀的缩放变换。
具体来说，如果有一个矩阵 A A A表示一个几何对象（例如，一组点的坐标），那么数乘矩阵 k A kA kA（其中 k k k是一个标量）相当于对每个点的坐标进行 k k k倍的缩放。
以下是一些具体的几何解释：
1.点的缩放：如果矩阵 A A A表示一组点的坐标，那么 k A kA kA表示将每个点的坐标按比例 k k k进行缩放。例如，如果 k > 1 k>1 k>1，则每个点会远离原点；如果 0 < k < 1 0<k<1 0<k<1，则每个点会靠近原点。
2.图形的缩放：如果矩阵 A A A表示一个图形（例如，多边形或曲线），那么 k A kA kA表示将整个图形按比例 k k k进行缩放。例如，如果 k > 1 k>1 k>1，则图形会变大；如果 0 < k < 1 0<k<1 0<k<1，则图形会变小。
3.向量的缩放：如果矩阵 A A A表示一组向量，那么 k A kA kA表示将每个向量的长度按比例 k k k进行缩放，而方向保持不变。例如，如果 k > 1 k>1 k>1，则每个向量的长度会增加；如果 0 < k < 1 0<k<1 0<k<1，则每个向量的长度会减少。
数乘矩阵在几何上相当于对矩阵所表示的几何对象进行均匀的缩放变换，这种变换不会改变对象的形状，只会改变其大小。所以对超平面的划分没有影响
可视化代码领取
关注微信公众号 司南锤 ,后台回复 w 和 b成同比例变化可视化代码，可以获得展示变化效果的可视化代码
