大语言模型安全威胁

文章目录

  • 基座安全
    • 一、大模型训练阶段
      • (1)训练环境安全风险
      • (2)训练环境隔离缺陷
    • 二、大模型部署阶段
      • (1)利用不安全系统配置
      • (2)CI&CD流程攻击
      • (3)部署环境组件供应链漏洞
    • 三、大模型应用阶段
      • (1)容器集群环境探测
      • (2)容器集群环境攻击
      • (3)LLMs拒绝服务&资源耗尽
  • 数据安全
    • 一、大模型训练阶段
      • (1)内部数据保护缺陷
      • (2)不正确&恶意外部数据源
      • (3)训练数据投毒
    • 二、大模型部署阶段
      • (1)备份数据窃取
      • (2)数据传输劫持
      • (3)数据存储服务攻击
      • (4)日志和审计记录窃取
      • (5)缓存数据&索引信息窃取
    • 三、大模型应用阶段
      • (1)元Prompt泄露
      • (2)模型反演攻击
      • (3)隐私数据窃取
      • (4)模型推理API数据窃取
      • (5)成员推断攻击
      • (6)API信息泄露
  • 模型安全
    • 一、大模型训练阶段
      • (1)模型后门
      • (2)预训练模型不安全依赖
    • 二、大模型部署阶段
      • (1)模型文件窃取
      • (2)模型参数篡改
    • 三、大模型应用阶段
      • (1)模型越狱攻击
      • (2)模型幻觉风险
      • (3)非合规内容输出
      • (4)商业违法输出
      • (5)模型功能滥用
      • (6)预训练模型信息窃取与攻击
      • (7)数据漂移
  • 应用安全
    • 一、大模型训练阶段
      • (1)第三方组件漏洞
      • (2)不安全的代码实践
    • 二、大模型部署阶段
      • (1)LLMs应用源代码窃取
      • (2)LLMs应用源代码投毒
    • 三、大模型应用阶段
      • (1)Prompt注入
      • (2)间接Prompt注入
      • (3)业务应用API利用
      • (4)CoT注入攻击
      • (5)关键字混淆
      • (6)对抗编码攻击
      • (7)反向诱导&抑制攻击
  • 身份安全
    • 一、大模型训练阶段
      • (1)训练环境缺少认证授权
      • (2)训练环境过度权限分配
      • (3)LLMs插件:权限管控设计缺陷
    • 二、大模型部署阶段
      • (1)滥用部署环境凭据
      • (2)向量数据库未授权访问
      • (3)未授权访问模型部署环境
    • 三、大模型应用阶段
      • (1)角色逃逸
      • (2)权限管控不当
      • (3)模拟对话攻击
      • (4)应用会话劫持
      • (5)账户劫持风险

基座安全

一、大模型训练阶段

(1)训练环境安全风险

  • 模型开发工具漏洞
  • 训练数据管理系统漏洞

(2)训练环境隔离缺陷

二、大模型部署阶段

(1)利用不安全系统配置

  • 环境隔离缺陷
  • 云平台多租户隔离失效

(2)CI&CD流程攻击

  • 模型部署服务漏洞
  • 模型镜像污染

(3)部署环境组件供应链漏洞

  • 容器&&集群系统漏洞
  • 向量数据库漏洞
  • 云平台安全漏洞

三、大模型应用阶段

(1)容器集群环境探测

(2)容器集群环境攻击

  • 代码解析器执行逃逸

(3)LLMs拒绝服务&资源耗尽

数据安全

一、大模型训练阶段

(1)内部数据保护缺陷

  • 个人隐私数据保护缺陷
  • 企业敏感数据保护缺陷
  • 机密敏感数据保护缺陷

(2)不正确&恶意外部数据源

  • 预训练模型数据偏见

(3)训练数据投毒

  • 对话语料投毒
  • 训练数据篡改

二、大模型部署阶段

(1)备份数据窃取

(2)数据传输劫持

(3)数据存储服务攻击

(4)日志和审计记录窃取

(5)缓存数据&索引信息窃取

三、大模型应用阶段

(1)元Prompt泄露

  • 假定场景泄露
  • 假定角色泄露
  • 关键字前后定位泄露

(2)模型反演攻击

  • 触发模型异常
  • 训练数据推导

(3)隐私数据窃取

  • 个人隐私数据窃取
  • 企业机密数据窃取

(4)模型推理API数据窃取

(5)成员推断攻击

(6)API信息泄露

模型安全

一、大模型训练阶段

(1)模型后门

  • 模型序列化后门
  • 预训练模型投毒

(2)预训练模型不安全依赖

二、大模型部署阶段

(1)模型文件窃取

(2)模型参数篡改

三、大模型应用阶段

(1)模型越狱攻击

  • DAN(Do Anything Now)
  • Many-shot越狱
  • 假定场景越狱
  • 假定角色越狱
  • 对抗性后缀攻击
  • 概念激活攻击

(2)模型幻觉风险

  • 事实性幻觉
  • 忠实性幻觉

(3)非合规内容输出

  • 虚假信息生成
  • 诱导&&不当言论
  • 带有偏见、仇恨、歧视或侮辱问题
  • 恐怖主义&&带有暴力倾向
  • 政治&&军事敏感问题
  • 敏感数据泄露

(4)商业违法输出

  • 知识产权版权侵犯

(5)模型功能滥用

  • 恶意代码生成
  • 钓鱼邮件生成
  • 图片信息伪造
  • 音频信息伪造
  • 视频信息伪造

(6)预训练模型信息窃取与攻击

  • 预训练模型家族探测
  • 预训练模型本体探测
  • 代理预训练模型创建
  • 对抗样本攻击

(7)数据漂移

应用安全

一、大模型训练阶段

(1)第三方组件漏洞

  • 数据处理组件漏洞
  • RAG开发框架漏洞

(2)不安全的代码实践

  • LLMs插件:不安全输入处理
  • LLMs应用传统漏洞风险
  • LLMs应用不安全输出处理
  • LLMs插件:业务过度代理

二、大模型部署阶段

(1)LLMs应用源代码窃取

(2)LLMs应用源代码投毒

三、大模型应用阶段

(1)Prompt注入

(2)间接Prompt注入

  • XSS会话内容劫持
  • 环路Agent蠕虫
  • 应用对话Memory攻击

(3)业务应用API利用

  • SSRF模型环境探测
  • 代码执行注入

(4)CoT注入攻击

  • 思维链干扰注入
  • 思维链操纵注入

(5)关键字混淆

  • 同义词替换攻击

(6)对抗编码攻击

(7)反向诱导&抑制攻击

身份安全

一、大模型训练阶段

(1)训练环境缺少认证授权

(2)训练环境过度权限分配

(3)LLMs插件:权限管控设计缺陷

二、大模型部署阶段

(1)滥用部署环境凭据

  • 公开服务API密钥利用

(2)向量数据库未授权访问

(3)未授权访问模型部署环境

三、大模型应用阶段

(1)角色逃逸

  • 假定场景逃逸
  • 假定角色逃逸
  • 遗忘法角色逃逸
  • Prompt目标劫持

(2)权限管控不当

  • 未授权访问模型
  • 利用云凭证非法访问云端模型
  • 账户越权访问

(3)模拟对话攻击

(4)应用会话劫持

(5)账户劫持风险

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/59021.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

RAGulator:如何识别和缓解大模型所谓的“忠实幻觉”

RAGulator,一个轻量级的、用于检测RAG系统中语义上与上下文不符(OOC)的LLM生成文本的检测器 论文链接:https://arxiv.org/abs/2411.03920 论文概述 实时检测大型语言模型(LLM)生成的与上下文不符的输出问题&#xff…

简单介绍 Spring 中获取 Bean 的三种方式

文章目录 一、自动注入方式二、从 ApplicationContext 手动获取 Bean三、使用 BeanFactory 获取 Bean四、总结推荐阅读文章 在 Spring 应用中,Bean 是项目的核心。无论是通过自动注入、依赖注入还是手动获取 Bean,了解获取 Bean 的多种方式能够帮助我们更…

Git核心概念

目录 版本控制 什么是版本控制 为什么要版本控制 本地版本控制系统 集中化的版本控制系统 分布式版本控制系统 认识Git Git简史 Git与其他版本管理系统的主要区别 Git的三种状态 Git使用快速入门 获取Git仓库 记录每次更新到仓库 一个好的 Git 提交消息如下&#…

虚拟现实技术在旅游行业的应用

💓 博客主页:瑕疵的CSDN主页 📝 Gitee主页:瑕疵的gitee主页 ⏩ 文章专栏:《热点资讯》 虚拟现实技术在旅游行业的应用 虚拟现实技术在旅游行业的应用 虚拟现实技术在旅游行业的应用 引言 虚拟现实技术概述 定义与原理…

leetcode82:删除排序链表中的重复节点||

给定一个已排序的链表的头 head , 删除原始链表中所有重复数字的节点,只留下不同的数字 。返回 已排序的链表 。 示例 1: 输入:head [1,2,3,3,4,4,5] 输出:[1,2,5]示例 2: 输入:head [1,1,1,2…

基于SpringBoot的Java教学支持系统开发指南

1系统概述 1.1 研究背景 随着计算机技术的发展以及计算机网络的逐渐普及,互联网成为人们查找信息的重要场所,二十一世纪是信息的时代,所以信息的管理显得特别重要。因此,使用计算机来管理教学辅助平台的相关信息成为必然。开发合适…

python3的基本数据类型:可变集合的用法

一. 简介 前面学习了 python3中的一种基本数据类型-集合,文章如下: python3的基本数据类型:集合的创建与分类-CSDN博客 本文继续学习 Python3中的集合,主要学习 可变集合的用法。 二. python3的基本类型:可变集合的…

【Linux系列】 环境配置文件合并的艺术:从`.env`到`.env.combined`

💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…

C/C++语言基础--C++模板与元编程系列五(可变惨模板,形参包展开,折叠表达式)

本专栏目的 更新C/C的基础语法,包括C的一些新特性 前言 模板与元编程是C的重要特点,也是难点,本人预计将会更新10期左右进行讲解,这是第五期,讲解可变惨模板,形参包展开,折叠表达式等&#x…

【验证实际问题记录】1.怎么改变rtl中宏的定义?

情形一:改变宏的值 rtl中如下&#xff1a; define U_DLY 1always (posedge clk or negedge rst_n)beginif (~rst_n)dout < #U_DLY 12h0;... end 诉求&#xff1a;验证过程中&#xff0c;希望在某些仿真里U_DLY为0。 我有尝试在验证平台的top_tb里重新定义U_DLY但是无效。…

Redis设计与实现 学习笔记 第十六章 Sentinel

Sentinel&#xff08;哨岗、哨兵&#xff09;是Redis的高可用性&#xff08;high availability&#xff09;解决方案&#xff1a;由一个或多个Sentinel实例&#xff08;instance&#xff09;组成的Sentinel系统可以监视任意多个主服务器&#xff0c;以及这些主服务器属下的从服…

贪心算法day05(k次取反后最大数组和 田径赛马)

目录 1.k次取反后最大化的数组和 2.按身高排序 3.优势洗牌 1.k次取反后最大化的数组和 题目链接&#xff1a;. - 力扣&#xff08;LeetCode&#xff09; 思路&#xff1a; 代码&#xff1a; class Solution {public int largestSumAfterKNegations(int[] nums, int k) {//如…

易语言加载dll模拟windows鼠标轨迹移动

一.简介 鼠标轨迹算法是一种模拟人类鼠标操作的程序&#xff0c;它能够模拟出自然而真实的鼠标移动路径。 鼠标轨迹算法的底层实现采用C/C语言&#xff0c;原因在于C/C提供了高性能的执行能力和直接访问操作系统底层资源的能力。 鼠标轨迹算法具有以下优势&#xff1a; 模拟…

Go语言的常用内置函数

文章目录 一、Strings包字符串处理包定义Strings包的基本用法Strconv包中常用函数 二、Time包三、Math包math包概述使用math包 四、随机数包&#xff08;rand&#xff09; 一、Strings包 字符串处理包定义 Strings包简介&#xff1a; 一般编程语言包含的字符串处理库功能区别…

【ESP32+MicroPython】网络编程基础

ESP32作为一款集成了Wi-Fi和蓝牙模块的微控制器&#xff0c;可以方便地与互联网连接&#xff0c;进行HTTP请求和数据传输。本教程将从Wi-Fi连接开始&#xff0c;逐步讲解ESP32如何在MicroPython环境下发送HTTP请求&#xff0c;并展示一些应用实例。我们将涵盖以下内容&#xff…

Springboot+Vue+mysql前后端分离的Java项目部署教程

参考了网上许多文章&#xff0c;有的使用的是nginx&#xff0c;eclipse&#xff0c;其实只要是数据库或者java的软件基本都大同小异。 本人使用phpstudy对项目进行部署&#xff0c;亲测有效。 需要的软件&#xff1a; 1.Node.js安装&#xff08;ps&#xff1a;这一步我也不知道…

第21节 arkts 如何读取普通文件

在 ArkTS 中读取普通文件可以通过以下几种方式&#xff1a; 使用ohos.fileio 模块 ohos.fileio 模块提供了一系列用于文件操作的接口&#xff0c;可以用于读取普通文件。以下是一个简单的示例&#xff0c;展示如何读取一个文本文件的内容&#xff1a; import fileio from o…

Linux系统程序设计--2. 文件I/O

文件I/O 标准C的I/O FILE结构体 下面只列出了5个成员 可以观察到&#xff0c;有些函数没有FILE类型的结构体指针例如printf主要是一些标准输出&#xff0c;因为其内部用到了stdin&#xff0c;stdout&#xff0c;stderr查找文件所在的位置:find \ -name stat.h查找头文件所…

OpenSSL 生成根证书、中间证书和网站证书

OpenSSL 生成根证书、中间证书和网站证书 一、生成根证书&#xff08;ChinaRootCA&#xff09;二、生成中间 CA&#xff08;GuangDongCA&#xff09;三、生成网站证书&#xff08;gdzwfw&#xff09; 一、生成根证书&#xff08;ChinaRootCA&#xff09; 创建私钥&#xff1a; …

【ShuQiHere】️ 深入了解 ADB(Android Debug Bridge):您的 Android 开发利器!

&#x1f4df;&#x1f527;【ShuQiHere】️ &#x1f527;&#x1f4df; 在 Android 应用开发和设备管理中&#xff0c;ADB&#xff08;Android Debug Bridge&#xff09; 是一个不可或缺的工具。无论您是开发者、技术爱好者&#xff0c;还是普通用户&#xff0c;掌握 ADB 的…