本文来自伍冬睿科学网博客

链接地址：http://wap.sciencenet.cn/blog-3418535-1256333.html?mobile=1

机器学习在脑机接口中的成功应用，使脑机接口得到了快速的发展。然而，对抗攻击的发现让我们不得不重新思考机器学习模型的安全性。这些潜在的危险性给基于机器学习的脑机接口的实际应用提出了不可逃避的难题。

对抗攻击可以分为两种：

1）逃逸攻击(evasion attack)：在不改变模型的前提下，通过对测试样本进行轻微地改变，从而使得模型对改变后的样本产生错误的分类。

2）污染攻击：通过在训练集中加入少量的污染样本，从而控制在污染的训练集中训练的模型的行为。

目前，已有不少工作去探究脑机接口中的安全问题。我们之前一些工作使用逃逸攻击[1,2]，对测试的EEG样本加入人眼无法察觉的微小的扰动，能够让模型对扰动后的EEG样本进行错误的分类，或者控制回归模型的预测值。这些工作在理论上讨论脑机接口的安全性有重要的意义，然而这些攻击在实际中其实是很难实现的，主要因为：

1）这些攻击需要在EEG信号预处理和机器学习模型之间插入一个攻击模块去添加对抗扰动，而在实际系统中这两个模块往往被集成在同一块芯片中，攻击者很难达成目的。

2）这些方法生成的对抗扰动是很复杂的，特别地，不同通道需要生成和添加不同的复杂对抗扰动噪声，这在实际中是很难操作的。

3）攻击者在生成或者施加对抗扰动时需要提前获取目标样本的信息，如，为了让对抗扰动与EEG信号对齐，试次的起始时间是必需的，而在实际系统中攻击者是很难提前获取这些信息的。

这些局限性导致已有的对抗攻击对实际脑机接口系统带来的威胁并没有很大。我们最近的工作[3]解决了上面的部分局限性，使脑机接口系统的逃逸攻击更加容易，但是施加对抗扰动时仍然需要知道EEG信号试次的起始时间。

我们最新的工作提出了实际可实现的污染攻击方法。通过在训练样本中加入少量的污染样本，这些污染样本能够在模型训练后在模型内创建一个“后门”，在测试阶段，如果测试样本中有“后门”的钥匙，则会被污染的模型分类到攻击者指定的类别。为了使攻击能够更好地在实际中实现，我们选择了特定的窄周期脉冲作为“后门”的钥匙，特别地，窄周期脉冲可以在EEG信号采集的时候通过外界干扰加入到EEG中。我们的攻击主要克服了以下几个挑战，使得其更容易在实际中实施：

1）进行攻击的“后门”钥匙是很简单的，包括两点，生成的模式是简单的，以及在实际脑机接口系统中将钥匙加入到EEG数据中是简单的；

2）攻击使用的钥匙对于不同的EEG信号都是通用的，只要EEG中包含“后门”钥匙，都能被污染后的模型分类到攻击者指定的类别；

3）攻击的实施和钥匙的生成不依赖于被攻击的EEG信号的信息，甚至攻击者不需要获取到EEG信号的起始时间。

我们攻击的流程如下图所示：

我们提出的实际可实现的污染攻击在模拟的场景下成功地攻击了三种范式的脑机接口系统中不同的模型。实验表明经过污染的模型，会对绝大部分包含“后门”钥匙的测试样本按照攻击者指定的类别进行预测。实验还发现，只需要很少一部分的污染样本就能得到很高的进攻成功率，同时在污染的训练集中训练的模型与正常训练的模型在不包含“后门”钥匙的样本上的分类准确率十分地接近，这两点意味着我们的攻击在实际应用中是很难被察觉的。另外，我们还测试了我们的攻击的参数鲁棒性，保证了在攻击时周期窄脉冲的参数发生较小的变化下还能取得较高的进攻成功率。

我们未来的工作会将这种攻击应用于实际的脑机接口系统，而不是在模拟的环境下，这将给脑机接口的应用带来极大的挑战。同时，我们也将研究具有对抗攻击鲁棒性的脑机接口系统。

[1] Zhang, X. & Wu, D. On the vulnerability of CNN classifiers in EEG-based BCIs. IEEE Trans. on Neural Systems and Rehabilitation Engineering 27, 814–825 (2019).

[2] Meng, L., Lin, C.-T., Jung, T. & Wu, D. White-box target attack for EEG-based BCI regression problems. In Proc. Int’l Conf. on Neural Information Processing, 476–488 (2019).

[3] Zhang, X. et al. Tiny noise, big mistakes: Adversarial perturbations induce errors in brain-computer interface spellers. National Science Review (2020). In press.

原文下载：BCIAttack_arXiv.pdf

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”