利用机器非学习进行后门攻击

信息安全是一个古老的计算机领域。许多 80 后还记得自己小时候经常听到的瑞星杀毒和江民杀毒软件。这些 90 年代火遍大江南北的信息安全工具,至今仍然影响着使用互联网和信息技术的千家万户。随着人工智能的兴起和普及,有越来越多的商业软件使用了人工智能技术,因此也有黑客盯上了相关的技术产品,研发出了专门攻击人工智能软件的黑客手段。

在 2023 年的人工智能顶级会议 AAAI 2023 上,来自新加坡和中国的研究团队发表了一篇题为 Backdoor Attack through Machine Unlearning 的论文,讲述了在新的信息流通环境下的黑客攻与防。论文的下载地址在这里:2310.10659v1.pdf (arxiv.org) 。

作者在文中提出了一种新的攻击人工智能算法的手段叫做 BAMU。基本原理就是利用机器非学习将一个善良的机器学习模型变成一个邪恶的机器学习模型。

例如在下图中,攻击者一开始的时候给数据集合植入了红色圆圈和绿色圆圈,随后基于隐私要求或者其他正当要求,请求系统执行机器非学习步骤,导致机器学习的决策边界发生了偏移:

本文作者不仅提出了 BAMU 攻击方法,也提出了防御 BAMU 的方法。

BAMU 共分为下面几种攻击方法:

  1. 针对输入的攻击方法。主要方法是在数据点附近采样构造有毒样例(红色圆圈)和解药样例(绿色圆圈)。
  2. 邪恶网络方法。该方法更加高效。利用如下公式构造有毒样例和解药样例:

论文作者通过在实验数据上作比较,分析了攻击的效果。因为本文篇幅的原因,作者不在此详细讨论实验结果。需要注意的是,在有的知名数据测试集合上,邪恶网络方法能够取得 5% 的成功率。

作者在文章中提到了 2 种防御 BAMU 的方法:

1.模型不确定性方法:因为解药样本本身靠近分类器边界的原因,因此解药样本的分类误差通常很大。所以,我们用下面的公式来评估某样本是否是可能利用 BAMU 注入的坏样本:

通过该公式计算出来的 Impurity 值越高,说明该样本是坏样本的可能性越大。

2.子模型相似性:模型在解药样本的可扩展性差,因此我们利用下面的公式来检查系统是否被 BAMU 入侵了:

该值越小,表明该样本越有可能是干净样本。

作者随后利用实验数据,证明了两种入侵检测方法的有效性。

这篇论文选材新颖,利用了一项新的技术——机器非学习的漏洞,详细阐述了作者最新的发明和发现,值得我们人工智能从业者认真学习。毕竟信息安全至关重要,不能等到事情发生了之后再去补救。千里之堤,溃于蚁穴。因此,哪怕是极其微小的信息安全隐患,也应该引起我们的高度重视。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/16751.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Spring Bean工厂揭秘:提前暴露的艺术与源码深度解析

1. 引言 在Spring框架中,Bean的生命周期是一段复杂的旅程,涉及创建、初始化和销毁等关键步骤。而其中一个鲜为人知的技巧——提前暴露Bean工厂对象,则是这段旅程中一道亮丽的风景线。它不仅解决了循环依赖的难题,还优化了应用的性…

前端优化的时间库

将moment.js换成day.js day.js的体积比moment.js小。moment.js有70多kb,但是day.js只有2kb。像微信小程序这种对代码包大小有要求的情况下,day.js会是比moment.js更好的选择。很多官方的框架和库都已经将moment.js换成了day.js。 moment已经好几年没…

【强化学习】Q-learning,DQN,SARSA算法介绍

【强化学习】Q-learning,DQN,SARSA算法介绍 强化学习算法分类基于价值的方法基于策略的方法Actor-Critic方法 Q-learning算法DQN算法强化学习训练数据存在的问题经验回放机制备份网络机制 Sarsa算法总结 强化学习算法分类 按学习目标进行分类 可分为基于…

【数理统计03】集中不等式

集中不等式(concentration inequalities)是在概率论和统计学中用于描述随机变量(尤其是随机变量的和或函数)的集中程度的一类不等式。它们为随机变量偏离其期望值的概率提供了上界。这些不等式在很多领域都有应用,包括…

使用OpenSSL生成证书和私钥文件

使用OpenSSL生成证书和私钥文件,请按以下步骤操作: 第1步:生成RSA私钥 openssl genrsa -out private_key.pem 2048参数 -out 指定生成的私钥文件名,参数 2048 指定生成的RSA私钥以位为单位的长度,常见的取值&#xf…

Oracle表空间加密全过程极简实验

加密前 准备加密HR Schema中的表。 SQL> col table_name for a20 SQL> select table_name, tablespace_name from all_tables where ownerHR;TABLE_NAME TABLESPACE_NAME -------------------- ------------------------------ DEPARTMENTS …

json文件写操作

一、背景 二、json写操作 2.1 json文件写操作,拷贝初版 //json文件写操作,拷贝初版void json_write() {//1. 定义对象 { }cJSON* interest cJSON_CreateObject();// 插入元素,对应 键值对cJSON_AddItemToObject(interest, "combat", cJSON_CreateStri…

【基于Fluent和深度学习算法驱动的流体力学计算与应用】

在深度学习与流体力学融合的背景下,科研边界不断拓展,创新成果层出不穷。从物理模型融合到复杂流动模拟,从数据驱动研究到流场智能分析,深度学习正以前所未有的力量重塑流体力学领域。目前在Nature和Science杂志上发表的深度学习驱…

Leetcode 力扣93. 复原IP地址 (抖音号:708231408)

有效 IP 地址 正好由四个整数(每个整数位于 0 到 255 之间组成,且不能含有前导 0),整数之间用 . 分隔。 例如:"0.1.2.201" 和 "192.168.1.1" 是 有效 IP 地址,但是 "0.011.255.2…

常见乱码分析

java编解码 如果该编码本身支持中文,同类型 编解码,中文不会乱码, 如果该编码本身不支持中文(如:US_ASCII,ISO_8859_1),同类型 编解码,中文也会乱码 StandardCharsets 不…

uinapp 写好的聊天基础页面,拿来就用非常方便

<template><view class"chat"><!-- <u-navbar :title"name" :placeholdertrue leftClick"goback"></u-navbar> --><!-- 顶部标题 --><view class"topTabbar"><!-- 返回图标 --><u…

Linux 中的进程优先级管理

在 Linux 系统中&#xff0c;理解和管理进程优先级是维护系统性能的关键因素。本文将详细介绍进程优先级&#xff08;priority&#xff09;的基本概念、如何查看和调整进程优先级&#xff0c;以及 nice 值对优先级的影响。 基本概念 在多任务操作系统中&#xff0c;CPU 资源的…

Power BI 使用Filter()函数完成类似子查询的筛选

1. 假如我们有两张表&#xff0c;如下图&#xff0c;以及它们的关联方式&#xff1a; tb_bursary.student_id tb_student.id 2. 我们想要实现这个逻辑&#xff0c;先找出tb_student里&#xff0c;sno最大的学生id&#xff0c;再根据查找出的学生id&#xff0c;找到tb_bursary…

TS 进阶类型

联合类型 | 当 TS 不确定一个联合类型的变量到底是哪个类型的时候,可以定义多种类型&#xff0c;例如&#xff0c;一个变量既支持 number 类型&#xff0c;又支持 string 类型. let num: 类型1 | 类型2 | 类型3 .... 初始值 let num:number | string 1 // 可以写多个类型 /…

C++笔试强训day34

目录 1.ISBN号码 2.kotori和迷宫 3.矩阵最长递增路径 1.ISBN号码 链接https://www.nowcoder.com/practice/95712f695f27434b9703394c98b78ee5?tpId290&tqId39864&ru/exam/oj 提取题意&#xff0c;模拟一下即可。 #include <iostream> using namespace std; …

学习笔记:C语言的32个关键字

一、标准C语言的32个关键字 1、基本数据类型&#xff1a; signed unsigned char int float double short long void 2、构造数据类型&#xff1a; struct union enum 3、数据存储类别&#xff1a; auto static extern register 4、数据优化&#xff1a; const volatile 5、9条…

Java(其十二)--集合·初级

ArrayList集合 集合有很多种&#xff0c;ArrayList 是最常用的一种&#xff0c;集合的作用相当于C中的STL 最显著的特点就是&#xff1a;自动扩容。 一般定义式 ArrayList list new ArrayList(); //该 list 是可以储存各种类型的数据的&#xff0c;要想约束储存的数据&#x…

买车是小米su7还是model3?这个AI在我这里“干掉了”百万车评人

作者 | 曾响铃 文 | 响铃说 43天交付1万辆新车&#xff01;雷军的微博一发&#xff0c;又把小米汽车推上了热搜。 自小米su7问世以来&#xff0c;天天刷屏。说不心动&#xff0c;那是假的&#xff0c;身边好几个朋友都按捺不住要下订一台了。 但真要买&#xff0c;还是忍不住…

[回溯法]子集和数问题

没有任何优化&#xff0c;纯深搜做法&#xff1a; #include<iostream> #include<vector> using namespace std;const int N 100010; int nums[N],selected[N]; int n,M,sum; bool ansfalse;void Out() {for (int i 0; i < n - 1; i)printf("%d", …

Gateway+Oauth2授权码登录

在Oauth服务中配置 @Override protected void configure(HttpSecurity http) throws Exception {http.csrf().disable().formLogin().permitAll().and()//主要配置好.formLogin().authorizeRequests().requestMatchers(EndpointRequest.toAnyEndpoint()).permitAll().antMatche…