在开源的基础上构建 AI 需要一种全新的应用程序安全方法

人工智能已经从科幻小说中涌现出来,进入了我们的日常生活。

在开源软件(OSS)模型的支持下,人工智能革命正在加速。这些模型是专为开发 AI 而制作的复杂开源代码包,使组织能够高效、大规模地部署 AI 模型。

虽然大多数组织都确保检查任何给定的标准开源代码行是否存在漏洞,但他们部署的大型开源模型通常逃脱了同样的审查。

最近发现的一系列漏洞凸显了如何通过恶意 OSS 模型执行供应链攻击。这一发现引发了人们对开源模型的脆弱性和人工智能系统整体安全性的担忧,强调了在人工智能迅速普及的情况下,对严格的开放源码软件安全措施的迫切需求。

OSS模型是人工智能革命的基石。为什么?如今,大多数组织都不是从头开始构建自己的 AI 模型——他们越来越依赖开源模型作为其 AI 计划的基础组件。这种方法加快了开发速度,允许快速部署和定制以满足特定需求。

然而,这种便利性和效率的权衡是安全性。OSS 软件包被广泛使用,攻击者也知道这一点。他们也知道,组织很难仔细检查外部开发人员编写的代码中的潜在漏洞。结果:OSS 模型经常引入漏洞,恶意行为者可以轻松利用这些漏洞来破坏敏感数据、决策过程和整体系统完整性。

人工智能研究和解决方案仍处于“快速行动和打破常规”的阶段,因此OSS模型的安全协议仍处于起步阶段。这就是为什么像最近的 Hugging Face 漏洞这样的网络事件——包括 Google 和 Microsoft 在内的 700 多家公司使用的 1500 LLM多个集成 API 令牌遭到入侵正在增加。

入侵 AI 基础设施为不良行为者提供了通往王国的钥匙。攻击者可以查看和窃取敏感数据,以前所未有的规模损害用户隐私。他们还可以访问、窃取甚至删除 AI 模型,从而损害组织的知识产权。也许最令人担忧的是,它们可以改变人工智能模型产生的结果。

想象一下这样一个场景:一个持续头痛的人向 AI 聊天机器人或大型语言模型 (LLM) 询问基本的头痛技巧。被破坏的人工智能不是建议休息或 Advil,而是建议人们以一种头痛患者不知道的方式组合两种非处方药,这可能会导致有毒或致命的副作用。

或者考虑一辆依赖人工智能进行导航的自动驾驶汽车。如果它的人工智能系统被篡改,它可能会将红色交通信号灯误解为绿色,从而引发碰撞。同样,如果汽车制造厂的人工智能质量控制系统被篡改,它可能会错误地验证不良焊缝,从而危及驾驶员安全和召回。

即使在看似良性的情况下,受损的人工智能也可能是危险的。想象一下,用户提示 AI 助手建议意大利的旅行提示。受LLM感染者可以在其响应中嵌入恶意 URL,将用户引导至充满恶意软件的网络钓鱼网站——所有这些都伪装成有益的旅行资源。虽然潜在的旅行者可能永远不会意识到他们已经启用了漏洞利用,但攻击者现在可以使用他们的新访问权限来感染网络上更多用户的计算机。

随着 OSS 模型受损风险的增加,组织必须采取积极主动的态度来加强其 OSS 模型的安全性。这就要求采取多方面的办法,而不能仅仅采取被动措施,因为这些措施只有在安全漏洞发生后才会发挥作用。

持续监控和实时威胁检测机制是关键。组织应寻求能够实时识别开源模型的异常、异常行为或潜在威胁的高级监控工具。在这种情况下,人工智能驱动的系统——以火灭火——可能是最有效的。

此外,组织应优先考虑强大的身份验证协议、加密方法和访问控制,以加强其 AI 基础设施的完整性。定期进行安全审计、漏洞评估和专门针对开源模型的代码审查将有助于在潜在弱点被利用之前识别和解决它们。

最后,在团队中培养组织范围内的安全意识和主动响应的文化,确保可以采取快速行动来缓解新出现的风险。

通过集成实时预防、检测和响应威胁的主动安全解决方案,组织可以增强其 OSS 模型基础设施的网络弹性,并确保他们的数据和客户免受 AI 革命的阴暗面的影响。

搜索关注公众号 网络研究观 阅读全文

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/788378.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

StreamingT2V文本生成视频多模态大模型,即将开源!

1、前言 Picsart人工智能研究所、德克萨斯大学和SHI实验室的研究人员联合推出了StreamingT2V视频模型。通过文本就能直接生成2分钟、1分钟等不同时间,动作一致、连贯、没有卡顿的高质量视频。 虽然StreamingT2V在视频质量、多元化等还无法与Sora媲美,但…

【C++第二阶段】文件操作

以下内容仅为当前认识,可能有不足之处,欢迎讨论! 文章目录 文件操作文件写入流程简单的demo写操作 文件读流程二进制写文件二进制读文件 文件操作 文件写入流程 写文件包括以下几个步骤 1.包含头文件 2.创建流对象 3.打开文件&#xff0…

大数据学习第十二天(hadoop概念)

1、服务器之间数据文件传递 1)服务器之间传递数据,依赖ssh协议 2)http协议是web网站之间的通讯协议,用户可已通过http网址访问到对应网站数据 3)ssh协议是服务器之间,或windos和服务器之间传递的数据的协议…

IP SSL的应用与安装

IP SSL,即互联网协议安全套接字层,它是一种为网络通信提供安全及数据完整性的安全协议。在网络传输过程中,IP SSL可以对数据进行加密,这样即便数据在传输途中被截取,没有相应的解密密钥也无法解读内容。这一过程如同将…

合并两个单链表

归纳编程学习的感悟, 记录奋斗路上的点滴, 希望能帮到一样刻苦的你! 如有不足欢迎指正! 共同学习交流! 🌎欢迎各位→点赞 👍 收藏⭐ 留言​📝 但行前路,不负韶华&#…

redis的键值基本操作

设置数据 首先设置键值对 删除age,会得到nil,表示这个键已经被删除掉了 判断age键还在不在 查找所有键 查找所有以me结尾的键 删除所有键 redis的键和值都是二进制存储的,所以默认不支持中文。 但是,我们重新登录客户端&#xff…

Unity自定义框架(1)-----------单例模式

前言: Unity作为一款强大的游戏开发引擎,其基础框架的设计对于项目的结构和性能有着重要的影响。其中,单例模式是一种常用的设计模式,用于确保一个类只有一个实例,并提供一个全局访问点。 什么是单例模式&#xff1f…

基于深度学习的机场航拍小目标检测系统(网页版+YOLOv8/v7/v6/v5代码+训练数据集)

摘要:在本博客中介绍了基于YOLOv8/v7/v6/v5的机场航拍小目标检测系统。该系统的核心技术是采用YOLOv8,并整合了YOLOv7、YOLOv6、YOLOv5算法,从而进行性能指标的综合对比。我们详细介绍了国内外在机场航拍小目标检测领域的研究现状、数据集处理…

分布式唯一ID 雪花算法

📝个人主页:五敷有你 🔥系列专栏:算法分析与设计 ⛺️稳中求进,晒太阳 算法具体介绍 雪花算法是 64 位 的二进制,一共包含了四部分: 1位是符号位,也就是最高位,…

大数据实验一,Hadoop安装及使用

目录 一.实验内容 二.实验目的 三.实验过程截图及说明 1、安装SSH,并配置SSH无密码登录 2、配置java环境 3.Hadoop的安装与配置 4、修改四个配置文件: 5、格式化HDFS的NameNode: 6、启动Hadoop 7、…

如何使用极狐GitLab 启用自动备份功能

本文作者:徐晓伟 GitLab 是一个全球知名的一体化 DevOps 平台,很多人都通过私有化部署 GitLab 来进行源代码托管。极狐GitLab 是 GitLab 在中国的发行版,专门为中国程序员服务。可以一键式部署极狐GitLab。 本文主要讲述了如何极狐GitLab 自…

探索Flutter混淆在提高应用安全性方面的作用

在移动应用开发中,保护应用代码安全至关重要。Flutter 提供了简单易用的混淆工具,帮助开发者在构建 release 版本应用时有效保护代码。本文将介绍如何在 Flutter 应用中使用混淆,并提供了相关的操作步骤和注意事项。 📝 摘要 本…

普通Java工程可执行JAR两种打包方式探讨

文章目录 一、需求概述二、代码结构三、运行结果四、打包设置1. 一体化可执行包2. 带外部依赖lib的可执行包 五、打包运行1. 源码放送2. 打包执行3. 打包结果 一、需求概述 普通Java工程 docker-show 实现了定时打印docker应用信息,现在需要将其打包成可执行Jar部署…

Nginx三大常用功能“反向代理,负载均衡,动静分离”

注意:以下案例在Windows系统计算机作为宿主机,Linux CentOS 作为虚拟机的环境中实现 一,Nginx配置实例-反向代理 1.反向代理 案例一 实现效果:使用nginx反向代理,访问 www.123.com 直接跳转到127.0.0.1:8080 准备工…

视频基础学习四——视频编码基础一(冗余信息)

文章目录 前言一、编码压缩的原理1.空间冗余帧内预测 2.时间冗余帧间预测运动估计运动补偿 3.编码冗余4.视觉冗余 二、压缩编码的流程1.编码器2.编解码流程 总结 前言 上一篇文章介绍了视频帧率、码率、与分辨率。也介绍了为什么需要对视频进行压缩,因为720P、rgb2…

计算机网络-HTTP相关知识-RSA和ECDHE及优化

HTTPS建立基本流程 客户端向服务器索要并验证服务器的公钥。通过密钥交换算法(如RSA或ECDHE)协商会话秘钥,这个过程被称为“握手”。双方采用会话秘钥进行加密通信。 RSA流程 RSA流程包括四次握手: 第一次握手:客户…

OpenCV项目实战-深度学习去阴影-图像去阴影

往期热门博客项目回顾: 计算机视觉项目大集合 改进的yolo目标检测-测距测速 路径规划算法 图像去雨去雾目标检测测距项目 交通标志识别项目 yolo系列-重磅yolov9界面-最新的yolo 姿态识别-3d姿态识别 深度学习小白学习路线 //正文开始! 图…

备战蓝桥杯---贪心刷题1

话不多说&#xff0c;直接看题&#xff1a; 本质是一个数学题&#xff1a; 我们令xi<0表示反方向传递&#xff0c;易得我们就是求每一个xi的绝对值之和min,我们令平均值为a爸。 易得约束条件&#xff1a; x1-x2a1-a,x2-x3a2-a..... 解得x1x1-0,x2x1-((n-1)*a-a2-...an)。…

LLM - 大语言模型 基于人类反馈的强化学习(RLHF)

欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://blog.csdn.net/caroline_wendy/article/details/137269049 基于人类反馈的强化学习(RLHF,Reinforcement Learning from Human Feedback),结合 强化学习(RL) 和 人类反馈 来优化模型的性能。这种方法主要包…

Jamba: A Hybrid Transformer-Mamba Language Model

Jamba: A Hybrid Transformer-Mamba Language Model 相关链接&#xff1a;arXiv 关键字&#xff1a;hybrid architecture、Transformer、Mamba、mixture-of-experts (MoE)、language model 摘要 我们介绍了Jamba&#xff0c;一种新的基于新颖混合Transformer-Mamba混合专家&am…