以一个简单的房屋价格预测为例，介绍解释线性回归这一单层神经网络。无需纠结于什么是单层神经网络，在本文的下半段将引入。首先我们假设影响房价只有两个因素，其一是面积，其二是房龄。

线性回归基本要素

1. 模型

设房屋面积为 $x_1$，房龄为 $x_2$，售出价格为 $y$。
我们建立基于驶入 $x_1$ 和 $x_2$ 来计算输出 $y$ 的表达式，即模型（model）：
$$\hat{y}=w_1{x}_1+w_2{x}_2+b$$

其中 $w_1$ 与 $w_2$ 称为权重，$b$ 称为偏差；其三为线性回归模型的参数。模型的输出 $\hat{y}$，是线性回归对真实价格 $y$ 的预测或估计。实际上，预测值 $\hat{y}$ 与实际价格 $y$ 存在误差。

---

2. 模型训练

所谓模型训练（model training），就是通过数据来寻找模型的参数值，即上述模型中的 $w_1$，$w_2$ 与 $b$，目标是使模型在数据上的误差尽可能小。这个过程，称为模型训练。

---

3. 训练数据

为训练上述模型，我们需要一些房屋的售卖真实数据。房屋的售价，与其对应的面积和房龄。在机器学习的术语中，这些数据构成的数据集，称为训练数据集，简称训练集（training set）。

房屋面积（特征）	房屋房龄（特征）	房屋价格（标签）
100	2	￥100,000,000
120	0	￥125,000,000

每个房屋的售卖数据称为一个样本（sample），真实的售出价格 $y$ 则称为标签（label），两个属性（房屋面积、房龄）称为特征（feature），特征用来表征样本的特点。

---

4. 损失函数

衡量模型优劣的标准为损失最小。而所谓损失，即预测值 $\hat{y}$ 与真实值 $y$ 之间的误差。一般，我们使用的是误差是平方函数，表达式为：
$$l^{(i)}(w_1,w_2,b)=\frac{1}{2}({\hat{y}}^{(i)}-y^{(i)}{)}^2$$

其中 $l$ 为 $loss$，$l^{(i)}$ 可以理解为第 $i$ 个样本的损失值。所以所有样本损失值为：

$$l(w_1,w_2,b)=\frac{1}{n}\sum _{i=1}^n{l}^{(i)}(w_1,w_2,b)=\frac{1}{n}\sum _{i=1}^n\frac{1}{2}(w_1{x}_1^{(i)}+w_2{x}_2^{(i)}+b-y^{(i)}{)}^2$$

---

5. 优化算法

当模型和损失函数形式较为简单时，误差最小化问题的解可以直接用公式表达出。这类解叫做解析解。
然而，大多数深度学习模型并没有解析解，只能通过优化算法有限次迭代模型参数来尽可能降低损失函数的值，这类解称为数值解。
在求解数值解的优化算法中，小批量随机梯度下降在深度学习中广泛应用。通过对参数的多次迭代，每次目标都是降低损失函数的值。
在每次迭代中，先随机均匀采样一个由固定数目训练数据样本所组成的小批量 $\beta$，然后求小批量中数据样本的平均损失有关模型参数的导数（梯度），最后用此结果与预先设定的一个正数（往往小于1，一般取值0.01，称为学习率，表示为 $\eta$ ）的乘积作为本次迭代的减小量。

$$w_1=w_1-\frac{\eta }{|\beta |}\sum _{i\in \beta }\frac{\delta l^{(i)}(w_1,w_2,b)}{\delta w_1}$$

$$w_2=w_2-\frac{\eta }{|\beta |}\sum _{i\in \beta }\frac{\delta l^{(i)}(w_1,w_2,b)}{\delta w_2}$$

$$b=b-\frac{\eta }{|\beta |}\sum _{i\in \beta }\frac{\delta l^{(i)}(w_1,w_2,b)}{\delta b}$$

其中 $|\beta |$ 为每个小批量中样本的个数，$\eta$ 为学习率。

---

6. 模型预测

在完成 5. 优化算法 后，我们将模型参数 $w_1,w_2,b$ 在优化后的值分别记为 $\widehat{w_1},\widehat{w_2},\hat{b}$
但是事实上，这只是对最优解的一种近似。就像我们攀登一座山一样，我们希望走的最优路线，但是往往我们只是最优路线的近似。
我们使用优化后的参数值，使用线性回归模型来估算一个房屋的价格，称为模型的预测。也称模型的推断。

---

线性回归与神经网络

1. 神经网络图

深度学习中，我们使用神经网络图直观地表现模型结构。

输入分别为 $x_1$ 与 $x_2$