深度学习鲁棒性、公平性和泛化性的联系

前言
1 鲁棒性、公平性、泛化性本质
2 对抗攻击是混杂效应
3 因果推理角度
- 3.1 稳定学习 VS 公平性
- 3.2 后门攻击

前言

读研好不容易从边缘智能，费好大劲被允许转到联邦学习赛道，再费了好大劲和机缘巧合被允许转到可信AI赛道做公平性（一开始的时候觉得对抗样本老有意思了，但是一直不被允许做呜呜呜）。之前的一些存货陆陆续续整理出来，有的还挺有意思的，仅代表一些思考，不一定对。

1 鲁棒性、公平性、泛化性本质

这三者的本质，都是（解决）数据分布的distribution shift的问题，图片节选自李博老师的视频讲座：

2 对抗攻击是混杂效应

假设对抗攻击是混杂效应，参考自 (Adversarial Visual Robustness by Causal Intervention, arXiv 2021)，以及张含望老师讲座视频：

AI会利用人看不见的pattern进行分类，这些pattern组成混杂因子(confounder)
如果训练数据和测试数据分布一样，这种混杂对于分类实际上是有利的（例如横条纹的“1”很多，横条纹是一个很有用的feature）
如果这种模式被攻击者利用，比如把数字1的背景换成竖着的，实现对抗攻击，让“1”被误分类为“2”这种混杂就是有害的
DNN基于输入和输出的统计联系进行学习，不可避免地学习到了混杂这种虚假的关联
但是人是依据因果关联𝑋→𝑌来分类的，希望AI也专注于这种关联

这几者可以统一起来，感觉很有道理：
（a）对抗攻击：通过最大化混杂效应 $𝑋\leftarrow𝐶 \rightarrow𝑌$ 来覆盖 $\rightarrow𝑌$ ，让预测出错
（b）对抗训练：使用对抗样本训练，最大化在攻击 $X=x+\delta$ 下的准确率。因为攻击时使用的与训练时使用的样本相似，对抗训练防止混杂𝛿改变预测结果，阻断了 $\nrightarrow 𝑌$
（c）数据增强：例如用不同样本线性组合训练来增强鲁棒性，让微小的扰动 $\delta$ 只会产生较小的混杂效应，削弱 $𝐶\rightarrow𝑌$ 的连接
（d）生成模型：使用生成式模型，例如预测时寻找哪一个类别 $𝑦_𝑖$ 最有可能产生能代表输入 $x$ 的样本，生成的过程削弱了混杂因子在原图中的影响 $𝐶\nrightarrow 𝑋$
（e）去噪：去除噪声对原图（ $\nrightarrow 𝑋$ ）或者预测结果的影响（ $\nrightarrow 𝑌$ ）
（f）随机平滑：加入足够大的高斯噪声，覆盖自然的和攻击的混杂影响𝑐+𝛿