目录
1 手动实现/使用sklearn实现线性回归训练
1.1 单特征线性回归（One Feature）
1.2 多特征线性回归（Multiple Features）
1.3 多项式线性回归（Polynomial）
1 手动实现/使用sklearn实现线性回归训练
1.1 单特征线性回归（One Feature）
假设函数（One feature）：
损失函数（平方差损失MSE）：
优化器（梯度下降Gradient descent）：
"""
@Title: linear_regression_with_one_feature
@Time: 2024/2/29
@Author: Michael Jie
"""import randomimport numpy as np
from sklearn.linear_model import LinearRegressionprint("--------------------手动实现LinearRegression--------------------")
# 数据集，y = 2.7 * x + 1.9
x = np.random.uniform(-3, 3, (100, 1))
y = 2.7 * x + 1.9 + np.random.normal(0, 0.5, (100, 1))
m = len(x)# 初始化训练参数
w, b = random.random(), random.random()
# 定义最小损失，学习率，最大训练轮次
epsilon, alpha, max_iter = 1e-4, 1e-2, 1e4# 训练
num = 0 # 训练轮次
j_init = 0 # 用于计算两次训练损失的差值
while True:# 假设函数，单特征线性回归h = w * x + b# 损失，平方差损失函数j = 1 / (2 * m) * np.sum((h - y) ** 2)if abs(j - j_init) < epsilon or num > max_iter:break# 优化器，梯度下降w -= alpha * (1 / m * np.sum((h - y) * x))b -= alpha * (1 / m * np.sum(h - y))num += 1j_init = jif num % 100 == 0:print("第{num}次训练，损失为：{j}".format(num=num, j=j))
print("训练后参数为：({w}, {b})".format(w=w, b=b))
# 预测
print("输入10的预测值为：{y}".format(y=w * 10 + b))print("--------------------使用sklearn实现LinearRegression--------------------")
linear = LinearRegression()
linear.fit(x, y)
print("训练后参数为：({w}, {b})".format(w=linear.coef_, b=linear.intercept_))
print("输入10的预测值为：{y}".format(y=linear.predict(np.array([[10]]))))"""
--------------------手动实现LinearRegression--------------------
第100次训练，损失为：0.24785011069810353
第200次训练，损失为：0.12133612402719189
训练后参数为：(2.6975988345352375, 1.8337117307000714)
输入10的预测值为：28.809700076052447
--------------------使用sklearn实现LinearRegression--------------------
训练后参数为：([[2.68709722]], [1.93437403])
输入10的预测值为：[[28.80534627]]
"""
1.2 多特征线性回归（Multiple Features）
假设函数（Multiple Features）：
损失函数（平方差损失MSE）：
优化器（梯度下降Gradient descent）：
"""
@Title: linear_regression_with_multiple_features
@Time: 2024/2/29
@Author: Michael Jie
"""import randomimport numpy as np
from sklearn.linear_model import LinearRegressionprint("--------------------手动实现LinearRegression--------------------")
# 数据集，y = 2.1 * x1 + 1.7 * x2 + 4.4
x = np.random.uniform(-3, 3, (100, 2))
y = np.dot(x, np.array([[2.1, 1.7]]).T) + 4.4 + np.random.normal(0, 0.5, (100, 1))
m = len(x)# 初始化训练参数
w, b = [[random.random(), random.random()]], random.random()
w = np.array(w)
# 定义最小损失，学习率，最大训练轮次
epsilon, alpha, max_iter = 1e-4, 1e-3, 1e4# 训练
num = 0 # 训练轮次
j_init = 0 # 用于计算两次训练损失的差值
while True:# 假设函数，单特征线性回归h = np.dot(x, w.T) + b# 损失，平方差损失函数j = 1 / (2 * m) * np.sum((h - y) ** 2)if abs(j - j_init) < epsilon or num > max_iter:break# 优化器，梯度下降w -= alpha * (1 / m * np.sum((h - y) * x))b -= alpha * (1 / m * np.sum(h - y))num += 1j_init = jif num % 100 == 0:print("第{num}次训练，损失为：{j}".format(num=num, j=j))
print("训练后参数为：({w}, {b})".format(w=w, b=b))
# 预测
print("输入(10, 20)的预测值为：{y}".format(y=np.dot(np.array([[10, 20]]), w.T) + b))print("--------------------使用sklearn实现LinearRegression--------------------")
linear = LinearRegression()
linear.fit(x, y)
print("训练后参数为：({w}, {b})".format(w=linear.coef_, b=linear.intercept_))
print("输入(10, 20)的预测值为：{y}".format(y=linear.predict(np.array([[10, 20]]))))"""
--------------------手动实现LinearRegression--------------------
第100次训练，损失为：6.917612630867695
第200次训练，损失为：5.128139537455417
...
第2300次训练，损失为：0.2550961384480396
第2400次训练，损失为：0.2423823553289109
训练后参数为：([[1.92022977 1.85815836]], 4.258528651534591)
输入(10, 20)的预测值为：[[60.62399361]]
--------------------使用sklearn实现LinearRegression--------------------
训练后参数为：([[2.09568973 1.68056098]], [4.45455187])
输入(10, 20)的预测值为：[[59.02266883]]
"""
1.3 多项式线性回归（Polynomial）
"""
@Title: linear_regression_with_polynomial
@Time: 2024/2/29 19:41
@Author: Michael
"""import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures# 数据集，y = 1.4 * x ** 2 - 3.1 * x + 2.6
x = np.random.uniform(-3, 3, (100, 1))
y = 1.4 * x ** 2 - 3.1 * x + 2.6 + np.random.normal(0, 0.5, (100, 1))# 预处理数据集，将一元二次函数转化成三元一次函数，然后使用线性回归训练
poly = PolynomialFeatures(degree=2)
poly.fit(x)
x = poly.transform(x)
# 手动实现预处理
degree = np.array([[0, 1, 2]])
# x = x ** degree# 回归训练
linear = LinearRegression()
linear.fit(x, y)
print("训练后参数为：({w}, {b})".format(w=linear.coef_, b=linear.intercept_))
print("输入10的预测值为：{y}".format(y=linear.predict(np.array([[1, 10, 100]]))))"""
训练后参数为：([[ 0. -3.1180901 1.40622675]], [2.62986504])
输入10的预测值为：[[112.07163862]]
"""
