精彩回顾!安全智能体的前沿技术研究与实践

图片

                              (关注“安全极客”,回复“智能体”下载第一期系列专题PPT!

近日,安全极客和Wisemodel社区联合发起并主办了“AI+Security”系列第1期:大模型与网络空间安全前沿探索线下活动。在这次活动中,云起无垠创始人兼CEO沈凯文博士,以《安全智能体的前沿技术研究与实践》为题,深入剖析了安全检测技术的演进历程,以及安全智能体的核心理念和实际应用。沈凯文博士的分享为与会者带来了一场充满洞见的技术盛宴。

近年来,人工智能技术已经成为推动网络安全发展的重要引擎。网络安全技术已从最初的基于规则集和大数据,演进到了现如今的AI赋能和AI原生,安全能力也随之得到了极大的提升。

图片

具体来说,安全底层技术演进经历了以下几个阶段:

1. 规则驱动:在早期,安全技术主要依赖于人工编写的规则进行静态和动态分析,如基线核查规则、应用漏洞规则等。这种方式尽管在某些特定场景下有效,但面临着规则更新滞后和适应性差的问题。

2. 大数据驱动、深度学习、机器学习:随着算力和存储设备的发展,安全技术开始利用机器学习、大数据分析,通过统计模型和威胁情报,实现更为复杂的威胁检测和响应。然而,这种方法依然面临着误报率高、漏报率高等挑战。

3. 安全智能体&安全AGI:大模型技术给安全带来的核心变革在于,补充语义分析能力。这一能力不仅突破了传统基于规则的安全方案的效果瓶颈,还让智能体方案具备了像人类一样的分析学习能力。这些将从根本上重塑现在安全团队的工作范式,实现进一步安全自动化。

尽管目前大模型在安全场景的落地依旧面临许多难点与挑战,但人工智能技术与网络安全的深度融合已成为不可逆的行业趋势。在此背景下,沈凯文博士从大模型落地的痛点与云起无垠的安全智能体实践等方面为我们分享了人工智能时代安全智能体的前沿技术研究与实践。

智能体方案解决大模型落地难题

目前,幻觉和输出不稳定是大模型在安全场景落地时面临的两大障碍。幻觉指的是模型生成的内容看似合理但实际上是错误或虚构的情况。例如,当用户输入一个CVE漏洞解释任务时,由于知识缺失,大模型可能会编造一个不存在的漏洞并输出,从而误导用户。输出不稳定是指在相同或相似的输入下,大模型的内容输出结果可能存在显著差异。例如,应用大模型处理代码修复任务,即使使用同样的提示词生成10次结果,输出的代码也可能各不相同,往往其中只有2-3次输出是可用的。在对准确率要求极高的网络安全领域,幻觉和输出不稳定给大模型的应用落地带来了巨大的挑战。

为了解决幻觉和输出不稳定的问题,沈凯文博士认为智能体是将大模型落地的最佳实践应用方案。其中通过规划+工具能力可以有效提升输出的稳定性,而利用知识引擎则可以一定程度上解决大模型因为知识缺失而产生的幻觉问题。比如上述CVE漏洞的例子,直接询问GPT-4难以得到较好的反馈,通过让大模型与知识引擎协同,并利用检索增强生成(RAG)的方式,就能让大模型更精准地向用户输出CVE漏洞信息,指导用户如何进行修复。

在应用特点方面,用户可以通过自然语言与智能体进行复杂交互。智能体不仅能记住用户需求的上下文语境,还能规划用户的输入需求,并调用工具完成任务,解决了传统安全工具易用性差、使用门槛高的问题。

不仅如此,智能体还能感知外界环境,应用行业知识,解决更具体的安全任务,比如查询和防护CVE漏洞。此外,通过多智能体协作,能让安全场景中的一些复杂任务实现进一步智能化。例如,在渗透测试场景中,传统的渗透测试需要不同角色的安全专家相互配合,进行扫描和内网测试。现在,通过设计专注于不同任务的智能体,如攻击面探测智能体、漏洞检测智能体和内网渗透智能体,并让这些智能体相互协作,可以实现更加智能化的渗透测试。

图片

安全智能体方案的核心价值

在分享中,沈凯文博士将安全智能体的价值主要归纳为以下两点:

1. 提升底层的安全能力,降低工具的使用门槛

传统安全解决方案通常依赖于基于特征签名的传统威胁检测和基于算法的告警运营,这种方法容易导致威胁过载和误报漏报问题,人工排查成本高,技术难度大。而智能体方案,可以通过语义的方式收敛原本基于规则无法解决的误报和漏报的问题,提升安全工具的检测准确性,降低了人工排查成本。

图片

2. 改变现有安全团队的工作范式,效率更高、成本更低

目前,大多数安全团队仍采用以人为中心的工作模式。一个成熟的安全团队需要多名具备不同技术专长的安全专家,例如渗透测试专家、代码审计专家和漏洞挖掘专家。此外,还需要为专家们配备各种安全工具,如SAST工具、漏洞扫描工具和Fuzzing工具等。当一个安全任务分配给安全专家时,他们需要进行人工分析并使用安全工具来解决问题,这种方式效率低下且效果因人而异。

未来的安全团队可能会由少量的安全专家和智能体组成。安全专家只需下达任务,智能体便会启动其模型能力,结合规划引擎、工具引擎、知识引擎和记忆引擎,自主理解安全需求,并对任务进行拆解与规划,然后使用工具高质量地完成任务闭环。

图片

应用与实践

在对智能体的理论和宏观概念进行分析之后,沈凯文博士又结合云起无垠在AI Agent的技术实践与应用实践进行了成果分享。

技术实践一:构建可落地的大模型研发生命周期

图片

沈凯文博士指出,大模型的研发生命周期应包含四个步骤,这与培养“安全专家”的路径非常相似。

第一步:安全数据采集和私有数据积累

这一步需要进行大量的安全数据采集和私有数据积累。过程包括数据采集、清洗、标记和入库,最终形成大模型数据库,这是安全数据的基石。只有拥有这些数据,才能深入理解安全领域的知识。

第二步:构建基座模型的评估机制

其次,需要构建一个全面的基座模型评估机制。鉴于安全任务的独特性,评估不仅包括自然语言处理能力,还包括代码分析能力和二进制分析能力等不同维度。因此,在模型训练之前,建立一个完善的评估系统至关重要。选择更适用的基座模型,可以带来意想不到的优异训练效果。在这个阶段,就像挑选一位“有潜力的高中毕业生”。

第三步:继续预训练和安全知识的监督学习

第三步是继续预训练,并进行安全知识的监督学习。为了让这位“优秀的高中生”从事安全工作,他需要在大学里学习网络安全相关的专业知识,这相当于继续预训练和监督学习,使基座模型拥有更丰富的安全行业知识。经过这步训练的模型就从“高中毕业生”成长为“安全专业毕业的大学生”。

第四步:强化学习与安全场景的知识增强

对于安全专业的大学应届毕业生来说,直接处理复杂的安全任务还是很困难的,容易犯错,因此需要告诉他们正确的做法,这就是强化学习的作用。在实践方面,云起无垠主要采取人类反馈强化学习和与GPT-4对齐的方案。完成这些步骤后,虽然得到了一个智能模型,但在实际应用中,还需要解决安全场景知识增强的问题。这包括提示词工程、流程工程、工具调用增强和检索增强生成增强等,分别弥补大模型在工具使用能力和细分领域安全知识方面的不足。经过这一步训练,安全专业的应届毕业生,就成长为能够实时掌握最新领域知识,并且高效使用工具的“安全专家”。

通过将这些技术融合,我们最终可以构建出一个真正可用的产品级大模型,再通过外接工具引擎和知识引擎,就可以将大模型在不同的安全场景中实现商业化落地。

技术实践二:构建高可靠且稳定的安全任务交付能力

想要让模型成为智能体,还涉及许多工程化工作,如提示词工程和流程工程。相比从零开始训练一个模型,采用提示词工程和流程工程可以以更低成本提高大模型在交付安全任务时的准确性和高效性。

图片

例如,AlphaCodium的研究团队,通过基于测试、分阶段、专注于代码的迭代处理流程,显著提升了大语言模型在代码生成上的能力。在 CodeContests 数据集上的测试中,AlphaCodium 将 GPT-4 的准确率从 19% 提升到 44%,性能超越了 AlphaCode,且计算资源需求大幅减少。

图片

应用实践一:AI Agent赋能漏洞自动化挖掘

模糊测试是一种公认的强大软件测试技术,能够有效检测安全漏洞。然而,在实际应用中,这一技术面临测试驱动开发难度大、种子变异效率低,以及安全缺陷修复成本高等挑战。在本次应用实践分享中,沈凯文博士重点介绍了云起无垠如何利用智能体来解决模糊测试驱动生成与代码修复问题的方案。

图片

传统的测试驱动生成大多基于专家知识或语法分析,技术门槛高且使用困难。为解决这一难题,云起无垠提出了基于“微调代码模型+代码详细结构+反馈”的驱动生成方案。其核心思路如下:

专家模型训练:根据驱动生成训练语料,训练专用于驱动生成的代码大模型。

驱动生成:通过静态分析引擎提取被测函数的上下文信息,构造生成测试驱动的提示词,再通过强化学习后的代码大模型输出测试驱动代码。

反馈优化:运行生成的驱动,监控运行情况,获取反馈信息,优化生成驱动的提示词,最终实现更高的验证通过率。

经过Google benchmark验证,云起无垠的生成策略生成了24个测试驱动,仅有22%无效驱动,优于Google的方案,表现出更高的可编译驱动比例和更低的无效驱动比例。

图片

应用实践二:AI Agent赋能漏洞自动化修复

在漏洞修复方面,传统漏洞检测工具提供的修复建议通常呈现模板化特点,实际修复工作主要依赖专家经验和人工操作。高危漏洞的修复难度大、时间长,已成为企业的核心痛点。在这种背景下,自动化修复工具成为刚性需求。

通过模糊测试引擎与训练后的代码大模型协同,不仅能够精准定位存在漏洞的代码片段,还能够分析漏洞成因。接着,利用缺陷信息生成提示词,作为大模型的输入。大模型根据这些提示词生成修复代码。更重要的是,模糊测试作为一种动态软件测试方案,可以重新运行漏洞的真实触发用例,验证缺陷修复效果。若漏洞修复失败,则进一步分析缺陷信息,优化测试代码的生成提示词。

经过验证,这一“大模型修复+模糊测试动态验证”的方案保障了代码修复率达到85%左右。

图片

未来展望

人工智能技术已经为网络安全行业带来了前所未有的变革。随着大模型技术与安全智能体方案的日趋成熟,研究人员第一次看到了实现网络安全通用人工智能(AGI)的可行路径。具体来说,沈凯文博士认为,网络安全AGI的发展和落地实践将经历以下几个阶段:

· 一阶智能-工具型智能体:解决特定任务

第一阶段主要聚焦于安全工具的智能化,即通过大模型、工具引擎和知识引擎的智能体方案,突破底层安全技术的效果瓶颈,提高自动化程度。

· 二阶智能-平台型智能体:覆盖细分安全场景

第二阶段的核心是通过大模型的理解与规划能力,将一阶的安全能力以工作流的形式进行编排调度,打造平台型智能体解决方案。这种平台型智能体不再仅聚焦特定安全任务,而是更像某个岗位的虚拟安全专家,能够拆解复杂的安全需求,对工作流进行规划,自主调度相应的工具型智能体,独立解决细分场景的所有安全需求。

· 三阶智能-网络安全AGI:多智能体方案协同,覆盖所有安全场景

从终局上讲,最终实现网络安全AGI的路径将是多二阶智能体方案协同,实现All in One的安全AGI解决方案,覆盖所有网络安全场景,交付所有网络安全任务。

图片

写在最后

人工智能技术的进步,尤其是大模型的广泛应用,为安全领域带来了新的机遇和挑战。沈凯文博士与云起无垠通过在软件安全场景中应用安全智能体的方案,不仅解决了大模型因幻觉和输出不稳定带来的落地挑战,还显著提升了漏洞挖掘和修复的效率与准确性,解决了传统漏洞挖掘与修复技术的痛点。未来,随着智能化水平的不断提高,安全智能体有望成为网络安全领域的重要推动力量,应用在网络安全的各个细分领域,实现全面、智能的安全防护。

"AI+Security"系列第二期专题分享嘉宾火热征集中。我们诚挚邀请来自人工智能(AI)和网络安全领域的行业专家与领军人物,共同参与分享。一起深入探讨并分享关于"AI+Security"技术理念的见解和经验。我们期待您的加入,一起推动AI与安全技术的融合与创新。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/26775.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

弹幕逆向signature、a_bogus

声明 本文章中所有内容仅供学习交流使用,不用于其他任何目的,抓包内容、敏感网址、数据接口等均已做脱敏处理,严禁用于商业用途和非法用途,否则由此产生的一切后果均与作者无关! 本文章未经许可禁止转载&a…

【Linux文件篇】磁盘到用户空间:Linux文件系统架构全景

W...Y的主页 😊 代码仓库分享 💕 前言:我们前面的博客中一直提到的是被进程打开的文件,而系统中不仅仅只有被打开的文件还有很多没被打开的文件。如果没有被打开,那么文件是在哪里进行保存的呢?那我们又如何快速定位…

【Elasticsearch】索引快照并还原到其他集群

【Elasticsearch】索引快照并还原到其他集群 一、安装共享文件系统 1.启动nfs systemctl start nfs rpcbind2. 编辑nfs文件 vi /etc/exports /opt/public 192.168.113.0/24(rw,no_root_squash,insecure,sync) 3. 修改共享目录用户 比如elasticsearch使用的是es用户&#…

windows x86 的应用在 linux arm 上运行的可能性

政府部门国产化需要从windows过渡到麒麟银河的国产linux系统的背景会面临几个问题。 01.好多原生的windows应用没有及时替代。linux的开源或者一些品牌的linux系统的应用商店不能及时解决问题。 01.开发linux应用的人比较少的。 02.开发的速度也是跟不上的。 03.开发出来了…

【名词解释】Unity中的表格布局组件及其使用示例

Unity中的表格布局组件通常指的是GridLayoutGroup,这是一个在Unity的UI系统中用来布局子对象的组件。它可以帮助开发者将UI元素按照网格的形式进行排列,非常适合创建表格、网格视图等布局。 名词解释: GridLayoutGroup:Unity UI…

Unity 踩坑记录 用自定义类 创建的List不显示在 inspector面板

在 自定义类上面添加 【Serializable 】 扩展: 1:Serializable 序列化的是可序列化的类或结构。并且只能序列化非抽象非泛型的自定义的类 2:SerializeField是强制对私有字段序列化

判断IP地址是否与CIDR表示的96.32/12匹配

文章目录 概要IP地址IPv4地址IPv6地址 CIDR表示法CIDR表示法计算网络范围 例题 概要 IP地址 IP地址(Internet Protocol Address)是分配给每个联网设备的唯一标识符。IP地址主要有两种版本:IPv4和IPv6。 IPv4地址 格式:IPv4地址…

编程里什么是动态性能

编程里什么是动态性能 在编程领域,动态性能是一个复杂且引人入胜的概念,它涉及到程序的运行效率、资源利用、响应速度等多个层面。理解并优化动态性能对于提升程序的整体质量至关重要。本文将从四个方面、五个方面、六个方面和七个方面深入探讨编程中的…

通过登录获取token实现接口自动化

登录接口有统一认证,访问该登录接口时会跳转到认证界面输入用户名密码 url "https://auth.xxxxx.com/auth/realms/xxxoa-with-os/protocol/openid-connect/auth?response_typecode&client_idtests&scopeopenid&redirect_urihttps://xxxnew.xxxx…

大数据平台之hadoop

Apache Hadoop是一个用于存储和处理大规模数据的开源框架。它由Apache软件基金会开发,主要用于处理大数据应用。Hadoop框架的核心组件包括HDFS(Hadoop Distributed File System)、MapReduce和YARN(Yet Another Resource Negotiato…

Perl 语言入门学习

一、介绍 Perl 是一种高级的、动态的、解释型的通用编程语言,由Larry Wall于1987年开发。它是一种非常灵活和强大的语言,广泛用于文本处理、系统管理、网络编程、图形编程等领域。 Perl 语言的设计理念是“用一种简单的语法,去解决复杂的编…

动画的js动画于css3区别?

JavaScript动画与CSS3动画在实现和使用上有一些显著的区别: 实现方式: CSS3动画:通过在CSS样式表中使用keyframes规则定义动画序列,然后将这些动画应用到元素上。CSS3动画由浏览器引擎优化处理,因此通常性能较好。JavaScript动画…

C++共享指针shared_ptr的理解分享

share_ptr是线程安全的吗 回答: 如果多个线程同时拷贝同一个shared_ptr对象,不会有问题,因为shared_ptr的引用技术是线程安全的。如果多个线程同时修改同一个shared_ptr对象,不是线程安全的。如果多个线程同时读写shared_ptr指向…

LabVIEW水箱液位控制系统

介绍了如何使用LabVIEW软件和硬件工具开发水箱液位控制系统。系统集成了数据采集、实时控制和模拟仿真技术,展示了高精度和高可靠性的特点,适用于需要精细水位调节的工业应用。 项目背景 在制造和化工行业,液位控制是保证生产安全与效率的关…

Linux 系统中的 /etc/issue and /etc/issue.net 文件

Linux 系统中的 /etc/issue and /etc/issue.net 文件 1. /etc/issue and /etc/issue.net2. /etc/ssh/sshd_configReferences 1. /etc/issue and /etc/issue.net (base) yongqiangyongqiang:~$ cat /etc/issue Ubuntu 20.04.5 LTS \n \l(base) yongqiangyongqiang:~$ (base) yo…

【C++】开源项目收集

C 是一种强大的、静态类型的通用编程语言,它的开源生态系统非常丰富,拥有众多高质量的项目。以下是一些知名的C开源项目: Boost: 这是一个庞大的库集合,提供了大量的实用工具和组件,如文件系统、网络编程、智能指针等&…

FFmpeg开发笔记(三十七)分析SRS对HLS协议里TS包的插帧操作

《FFmpeg开发实战:从零基础到短视频上线》一书的“2.1.2 音视频文件的封装格式”介绍了视频流的PS格式和TS格式。由于TS包的长度固定,从TS流的任一片段开始都能独立解码,因此可以把TS当成音视频文件的封装格式。 鉴于TS包的独立解码特性&…

Linux DNS域名解析

DNS系统的作用及类型 整个 Internet 大家庭中连接了数以亿计的服务器、个人主机,其中大部分的网站、邮件等服务器都使用了域名形式的地址,如www.google.com、mail.163.com 等。很显然这种地址形式要比使用 64.233.189.147、202.108.33.74的IP地址形式更…

【教程】从0开始搭建大语言模型:构造GPT模型

从0开始搭建大语言模型:构造GPT模型 从0开始搭建大语言模型:构造GPT模型GPT模型Layer NormalizationGELU激活函数Feed Forward网络增强shortcut连接构造Transformer Block构造GPT模型使用GPT模型生成文本 从0开始搭建大语言模型:构造GPT模型 …

2024-2025最新软考系统架构设计师的复习资料教材,解决如何快速高效通过该考试,试题的重点和难点在哪里?案例分析题和论文题的要点和踩坑点分析

目录 引言考试概述 考试结构考试内容 复习策略 制定复习计划学习资源 知识点详解 系统架构基础设计原则与模式系统分析与设计软件开发过程项目管理系统集成性能与优化安全性设计新兴技术 试题解析 选择题案例分析题论文题 重点与难点分析模拟试题与答案参考资料总结 引言 系…