内容来自https://www.bilibili.com/video/BV1FT4y1E74V，仅为本人学习使用。

人脸识别

相关定义

• 人脸验证：

  • 输入：图像、姓名/ID。
  • 输出：判断输入图像是否为所声明的人。这是1:1的验证模式，即单一输入图像与单一声明身份进行比对。一对一对比，需要的正确率在99%。

• 人脸识别：

  • 输入：获取一张输入图像。
  • 输出：若数据库包含包含K个人，K = 100 。如果输入图像是数据库中K个人中的任何一个，则输出其ID；如果不是，则输出“未识别” 。一对K的识别，正确率需要很高，达到99.9%以上。
    
    人脸识别会遇到两个问题：

• 录入的数据只有一份，也就是说，对于某个人脸，神经网络在训练的时候，只有一个数据，而不是很多的数据。

• 当前的神经网络是针对当前的数据库而训练的，如果数据库中新加了内容，难道要重新训练神经网络？

Similarity函数

定义函数$d(img1,img2)$表示两张图像之间的差异程度。

设定一个阈值$\tau$，如果$d(img1,img2)\le \tau$，则判断两张图像为“same（相同）” ；如果$d(img1,img2)>\tau$，则判断为“different（不同）” 。

对比的过程是输入的图片和整个数据库中的图片做比较。

使用Siamese网络实现函数d

输入第一张图像$x^{(1)}$，经过一系列的网络层，最终经过全连接层后得到图像的编码，记为$f(x^{(1)})$；继续输入第二张图象$x^{(2)}$，也经过相同的网络层得到编码，记为$f(x^{(2)})$。

计算两个特征向量之差的L2范数的平方，即$d(x^{(1)},x^{(2)})=\Vert f(x^{(1)})-f(x^{(2)}){\Vert }_2^2$ ，衡量两张输入图像的差异程度来判断是否相似。

因为这两个网络有相同的参数，计算出的编码都可以用于函数$d$。这是因为神经网络的参数定义了编码函数$f(x^{(1)})$，输入$x^{(1)}$到函数中，就会输出$x^{(i)}$的一个编码。

使用Triplet损失学习参数

想要通过学习神经网络的参数，来获得优质的人脸图片编码，可以定义一个Triplet损失函数然后应用梯度下降。

定义：
- Anchor（锚样本，A）：作为参考的样本。
- Positive（正样本，P）：与Anchor属于同一类别的样本，比如同一个人的不同照片。
- Negative（负样本，N）：与Anchor属于不同类别的样本，即不同人的照片。

计算：希望Anchor与Positive的特征向量距离$$d(A,P)=\Vert f(A)-f(P){\Vert }^2$$小于Anchor与Negative的特征向量距离$$d(A,N)=\Vert f(A)-f(N){\Vert }^2$$即$$d(A,P)\le d(A,N)$$ 进一步可表示为$$\Vert f(A)-f(P){\Vert }^2-\Vert f(A)-f(N){\Vert }^2+\alpha \le 0$$$\alpha$是超参数，大于 0 的间隔值，避免计算出现$0-0=0$的情况；同时用于加大正、负样本对之间的距离差异。假设，$d(A,P)=0.5$，$d(A,N)=0.51$，虽然满足不等式，但是仍不够好，加上$\alpha$加大了正负样本之间的距离。

因此，三元组损失（Triplet Loss）函数：
给定三张图像，分别为Anchor（锚）、Positive（正样本）、Negative（负样本），记为$A$、$P$、$N$。有损失函数$$L(A,P,N)=max(\Vert f(A)-f(P){\Vert }^2-\Vert f(A)-f(N){\Vert }^2+\alpha ,0)$$如果计算的结果为负值，直接用$0$表示不满足结果；否则计算的结果为正值。

在训练时，假设有10000个图片的训练集，有1000个不同人的照片。使用这10000个图片生成三元组，然后训练网络。训练的三元组要选差值很小，否则不起好的效果。

神经风格迁移

神经风格迁移是将一张图像的内容与另一张图像的风格相结合，生成有特定风格的新图像。

深度卷积网络可视化

输入一张大小为$224\times 224\times 3$的图像，经过一系列卷积层和池化层，最后连接两个全连接层（FC），维度分别为4096，最终输出$\hat{y}$。

希望看到该网络不同隐藏单元计算结果的可视化图，在第一层隐藏单元中选取一个神经元，找出能使其激活值最大化的假设九个图像块，这九个图像块激活了神经单元，对于该层，能看见图片浅层的区域，找到了一些边缘或者线（右下角第一个块）。对该层的其他神经元重复此操作，可以看到其他的特征。

继续更深一层的卷积层，这些层的神经元会看到一张图片的更大的部分。

神经风格迁移的代价函数

定义损失函数：$$J(G)=\alpha J_{content}(C,G)+\beta J_{style}(S,G)$$

• $J(G)$ 是生成图像 $G$ 的总损失。
• $J_{content}(C,G)$ 是内容图像 $C$ 与生成图像 $G$ 之间的内容损失，衡量二者内容的相似程。
• $J_{style}(S,G)$ 是风格图像 $S$ 与生成图像 $G$ 之间的风格损失，衡量二者风格的相似程度。
• $\alpha$ 和 $\beta$ 是超参数，调整内容损失和风格损失在总损失中的相对重要性。

内容损失函数

过程如下：

• 利用预训练的卷积神经网络（如VGG网络），选取隐藏层 $l$ 来计算内容损失。$l$一般选择网络的中间层。不要太深也不要太浅。
• 设 $a^{[l](C)}$ 和 $a^{[l](G)}$ 分别为内容图像 $C$ 和生成图像 $G$ 在网络隐藏层 $l$ 的激活值。若二者相似，则表明两张图像内容相似，$J_{content}(C,G)=\frac{1}{2}\Vert a^{[l](C)}-a^{[l](G)}{\Vert }^2$ ，通过计算隐藏层激活值的均方误差来衡量内容上的差异。

风格损失函数

假设使用卷积神经网络中第$l$层的激活值来衡量图像“风格”。风格的定义是该层不同通道激活值之间的相关性。通过这种方式，从神经网络的角度量化图像风格，在神经风格迁移等任务中，利用该定义来计算风格损失，以实现将一张图像的风格迁移到另一张图像上。

第$l$层，假设有5个通道。如何计算前两个通道（红色和黄色）激活项的相关系数？假设在第一个通道的某个位置含有相关系数，第二个通道相同位置也包含某个激活值，它们组成一对数字，其他位置也是同样的组成很多对数字，这些数字如何计算如何计算相关系数？

在可视化中，如果红色对应的通道计算出的特征是可视化图的第二块，黄色对应通道是可视化的第四块。当这两个通道的数值有相关性，说明出现竖直线条的地方大概率颜色也是橙色的；不相关，说明出现竖直线条的地方大概率颜色不是橙色的。

设 $a_{i,j,k}^{[l]}$ 为卷积神经网络第 $l$ 层中位置 $(i,j)$ 、通道 $k$ 处的激活值。$G^{[l]}$ 是一个 $n_c^{[l]}\times n_c^{[l]}$ 的矩阵（$n_c^{[l]}$ 为第 $l$ 层的通道数）。

• 风格图像 $S$：$G_{k{k}^{\prime }}^{[l](S)}={\sum }_{i=1}^{n_H^{[l]}}{\sum }_{j=1}^{n_W^{[l]}}{a}_{ijk}^{[l](S)}{a}_{ij{k}^{\prime }}^{[l](S)}$。
• 生成图像 $G$：$G_{k{k}^{\prime }}^{[l](G)}={\sum }_{i=1}^{n_H^{[l]}}{\sum }_{j=1}^{n_W^{[l]}}{a}_{ijk}^{[l](G)}{a}_{ij{k}^{\prime }}^{[l](G)}$。
• 损失为：$J_{style}^{[l]}(S,G)=\frac{1}{(2n_H^{[l]}{n}_W^{[l]}{n}_c^{[l]}{)}^2}{\sum }_k{\sum }_{k^{\prime }}(G_{k{k}^{\prime }}^{[l](S)}-G_{k{k}^{\prime }}^{[l](G)}{)}^2$。

对于给定的卷积神经网络第 $l$ 层，其通道数为 $n_c^{[l]}$，$k$ 和 $k^{\prime }$ 的取值范围都是从 $1$ 到 $n_c^{[l]}$ 。$a_{ijk}^{[l](S)}$ 是风格图像 $S$ 在第 $l$ 层位置 $(i,j)$ 、通道 $k$ 处的激活值，$a_{ij{k}^{\prime }}^{[l](S)}$ 是风格图像 $S$ 在第 $l$ 层位置 $(i,j)$ 、通道 $k’$ 处的激活值 。

通过对所有空间位置 $(i,j)$ 上，不同通道 $k$ 与 $k^{\prime }$ 对应的激活值乘积进行求和，得到$G_{k{k}^{\prime }}^{[l](S)}$ 。$k$ 和 $k^{\prime }$ 共同作用，获取不同通道激活值之间的相关性来定义图像的风格特征 。