为了构建一个有两个输入( X 1 X_1 X1、 X 2 X_2 X2)和一个输出的单层感知器,并进行分类,我们需要计算权值 w 1 w_1 w1和 w 2 w_2 w2的更新过程。以下是详细的步骤和计算过程:
- 初始化参数
初始权值: w 1 = 0.1 w_1=0.1 w1=0.1, w 2 = 0.1 w_2=0.1 w2=0.1
阈值(激活函数的阈值): θ = 0.6 \theta=0.6 θ=0.6
学习率: η = 0.6 \eta=0.6 η=0.6 - 激活函数
使用硬限幅函数(阶跃函数):
- 如果 y ≥ θ y\geq\theta y≥θ,输出 1 1 1
- 如果 y < θ y<\theta y<θ,输出 0 0 0
- 数据集
X 1 X_1 X1 | X 2 X_2 X2 | 目标输出 d d d |
---|---|---|
0 | 0 | 0 |
0 | 1 | 0 |
1 | 0 | 0 |
1 | 1 | 1 |
- 迭代优化权值
我们将进行多次迭代,直到输出误差达到零。
迭代过程
对每一对输入 ( X 1 , X 2 ) (X_1,X_2) (X1,X2)和目标输出 d d d,进行计算和更新。
- 迭代1:
输入: ( 0 , 0 ) (0,0) (0,0), 目标输出 d = 0 d=0 d=0
计算: y = w 1 × 0 + w 2 × 0 = 0 y=w_1\times0+w_2\times0=0 y=w1×0+w2×0=0
输出: 0 < 0.6 0<0.6 0<0.6 → 输出 0 0 0(正确)
无需更新权值。 - 迭代2:
输入: ( 0 , 1 ) (0,1) (0,1), 目标输出 d = 0 d=0 d=0
计算: y = w 1 × 0 + w 2 × 1 = 0.1 y=w_1\times0+w_2\times1=0.1 y=w1×0+w2×1=0.1
输出: 0.1 < 0.6 0.1<0.6 0.1<0.6 → 输出 0 0 0(正确)
无需更新权值。 - 迭代3:
输入: ( 1 , 0 ) (1,0) (1,0), 目标输出 d = 0 d=0 d=0
计算: y = w 1 × 1 + w 2 × 0 = 0.1 y=w_1\times1+w_2\times0=0.1 y=w1×1+w2×0=0.1
输出: 0.1 < 0.6 0.1<0.6 0.1<0.6 → 输出 0 0 0(正确)
无需更新权值。 - 迭代4:
输入: ( 1 , 1 ) (1,1) (1,1), 目标输出 d = 1 d=1 d=1
计算: y = w 1 × 1 + w 2 × 1 = 0.1 + 0.1 = 0.2 y=w_1\times1+w_2\times1=0.1+0.1=0.2 y=w1×1+w2×1=0.1+0.1=0.2
输出: 0.2 < 0.6 0.2<0.6 0.2<0.6 → 输出 0 0 0(错误)
更新权值:
误差 e = d − y = 1 − 0 = 1 e=d-y=1-0=1 e=d−y=1−0=1
更新:
w 1 = w 1 + η ⋅ e ⋅ X 1 = 0.1 + 0.6 ⋅ 1 ⋅ 1 = 0.7 w_1=w_1+\eta\cdot e\cdot X_1=0.1+0.6\cdot1\cdot1=0.7 w1=w1+η⋅e⋅X1=0.1+0.6⋅1⋅1=0.7
w 2 = w 2 + η ⋅ e ⋅ X 2 = 0.1 + 0.6 ⋅ 1 ⋅ 1 = 0.7 w_2=w_2+\eta\cdot e\cdot X_2=0.1+0.6\cdot1\cdot1=0.7 w2=w2+η⋅e⋅X2=0.1+0.6⋅1⋅1=0.7 - 迭代5:
输入: ( 0 , 0 ) (0,0) (0,0), 目标输出 d = 0 d=0 d=0
计算: y = 0.7 × 0 + 0.7 × 0 = 0 y=0.7\times0+0.7\times0=0 y=0.7×0+0.7×0=0
输出: 0 < 0.6 0<0.6 0<0.6 → 输出 0 0 0(正确)
无需更新权值。 - 迭代6:
输入: ( 0 , 1 ) (0,1) (0,1), 目标输出 d = 0 d=0 d=0
计算: y = 0.7 × 0 + 0.7 × 1 = 0.7 y=0.7\times0+0.7\times1=0.7 y=0.7×0+0.7×1=0.7
输出: 0.7 ≥ 0.6 0.7\geq0.6 0.7≥0.6 → 输出 1 1 1(错误)
更新权值:
误差 e = d − y = 0 − 1 = − 1 e=d-y=0-1=-1 e=d−y=0−1=−1
更新:
w 1 = 0.7 + 0.6 ⋅ ( − 1 ) ⋅ 0 = 0.7 w_1=0.7+0.6\cdot(-1)\cdot0=0.7 w1=0.7+0.6⋅(−1)⋅0=0.7
w 2 = 0.7 + 0.6 ⋅ ( − 1 ) ⋅ 1 = 0.1 w_2=0.7+0.6\cdot(-1)\cdot1=0.1 w2=0.7+0.6⋅(−1)⋅1=0.1 - 迭代7:
输入: ( 1 , 0 ) (1,0) (1,0), 目标输出 d = 0 d=0 d=0
计算: y = 0.7 × 1 + 0.1 × 0 = 0.7 y=0.7\times1+0.1\times0=0.7 y=0.7×1+0.1×0=0.7
输出: 0.7 ≥ 0.6 0.7\geq0.6 0.7≥0.6 → 输出 1 1 1(错误)
更新权值:
误差 e = d − y = 0 − 1 = − 1 e=d-y=0-1=-1 e=d−y=0−1=−1
更新:
w 1 = 0.7 + 0.6 ⋅ ( − 1 ) ⋅ 1 = 0.1 w_1=0.7+0.6\cdot(-1)\cdot1=0.1 w1=0.7+0.6⋅(−1)⋅1=0.1
w 2 = 0.1 + 0.6 ⋅ ( − 1 ) ⋅ 0 = 0.1 w_2=0.1+0.6\cdot(-1)\cdot0=0.1 w2=0.1+0.6⋅(−1)⋅0=0.1 - 迭代8:
输入: ( 1 , 1 ) (1,1) (1,1), 目标输出 d = 1 d=1 d=1
计算: y = 0.1 × 1 + 0.1 × 1 = 0.2 y=0.1\times1+0.1\times1=0.2 y=0.1×1+0.1×1=0.2
输出: 0.2 < 0.6 0.2<0.6 0.2<0.6 → 输出 0 0 0(错误)
更新权值:
误差 e = d − y = 1 − 0 = 1 e=d-y=1-0=1 e=d−y=1−0=1
更新:
w 1 = 0.1 + 0.6 ⋅ 1 ⋅ 1 = 0.7 w_1=0.1+0.6\cdot1\cdot1=0.7 w1=0.1+0.6⋅1⋅1=0.7
w 2 = 0.1 + 0.6 ⋅ 1 ⋅ 1 = 0.7 w_2=0.1+0.6\cdot1\cdot1=0.7 w2=0.1+0.6⋅1⋅1=0.7 - 迭代9:
重复之前的步骤,经过几轮迭代,会发现权值在震荡。
继续更新,最终会收敛。
收敛:
经过多次迭代,直到所有的输出都与目标一致,即可停止。