追溯历史:SIEM 中的生成式人工智能革命

作者:来自 Elastic Mike Nichols, Mike Paquette

网络安全领域仿佛是现实世界的一个映射,安全运营中心(security operation center - SOC)就像是你的数字警察局。网络安全分析师就像是警察,他们的工作是阻止网络犯罪分子对组织发起攻击,或者在他们尝试攻击时将其阻止。当发生攻击时,类似于数字侦探的事件响应人员会从多个不同的来源收集线索,以确定事件的顺序和细节,然后制定补救计划。为了实现这一目标,团队需要将许多(有时是数十个)产品结合起来,以确定攻击的全貌并识别如何在业务遭受损失和损害之前停止威胁。

在网络安全的早期,分析师们意识到,集中证据可以简化数字调查。否则,他们将花费大部分时间尝试从那些前述的产品中分别收集所需的数据 —— 请求访问日志文件、搜集受影响系统的信息,然后手动将这些不同的数据联系起来。

我记得在我从事取证工作的时候,使用过一个名为 “log2timeline” 的工具,将数据按时间序列格式组织起来,还可以根据活动类型(如文件创建、登录等)进行颜色编码。早期的 SANS 培训课程教授了这个工具和时间线分析的强大功能。这实际上是一个 Excel 宏,可以将数据整理成一个 “超级” 时间线。这是革命性的,提供了一种组织如此多数据的简单方法,但它的生成需要很长时间。

现在,想象一下,如果侦探们必须等待几天才能进入犯罪现场,或者在他们找到合适的人给予权限之前,现场的证据对他们是禁止接触的。这就是网络安全分析师的生活。

在获取证据有限的情况下解决犯罪是一个失败的提议

在我的 SOC 职业生涯中,我经常感到惊讶的是,高级分析师花费在分析工作上的时间非常少。他们大部分的时间都花在管理数据上,比如追踪数据来源和筛选相关数据的日志。

在 21 世纪初,出现了用于为安全团队集中 “安全日志” 的产品。这项技术很快成为 SOC 中的一项基本技术,并且(经过几次命名的演变后)最终被称为安全信息与事件管理(security information and event management - SIEM)。这种产品承诺消除我们数据周围的迷雾,为团队提供一个中央存储和分析组织安全相关信息的地方。在本系列的第一部分中,我们将介绍 SIEM 演变的前三个主要阶段。

SIEM 二十年来的演变

SEM/SIM 的诞生(第0代)—— 21世纪初

集中收集和合规性

这一初期的安全日志收集被定义为 SEM(security event management - 安全事件管理)或 SIM(security information management - 安全信息管理)。它收集了系统活动的数字记录(日志数据)以及事件数据的组合。这对分析师来说是一个游戏规则改变者,因为他们现在控制着一个包含了解决数字犯罪所需数据的系统。基本上,安全团队现在拥有了自己的数据孤岛。这种产品革命主要是由于收集数据的需求驱动的,比如维护取证日志,并能向审计员和调查员证明确实收集了这些日志。这种合规性用例推动了集中安全事件收集的采用。

这种新型产品带来了挑战。SOC 现在需要安全工程师来管理大量数据。他们还需要预算来收集和存储这些信息,因为他们正在将数据从众多其他系统复制到一个单一的集中系统中。但好处是显而易见的:通过减少从整个企业收集和排序数据所花费的时间,加速检测和补救措施。一旦收到攻击通知,事件响应者几乎可以立即开始工作。

从合规到威胁检测 —— 创建 SIEM 1.0

检测建立在收集的基础上

下一个进步是在集中的 SIEM(security information and event management - 安全信息与事件管理)层应用检测逻辑。SIEM 是 SEM 中的事件数据和 SIM 中的信息数据的组合。SEM/SIM 的合规性和证据收集能力很强,但在近十年的数据收集和审查后,分析师意识到他们可以通过集中信息做得更多。SIEM 不仅仅是从其他系统整合警报并提供一个集中的日志和事件记录系统,现在还可以跨多个数据源进行分析。检测工程师可以从一个新的角度操作 —— 发现在仅对一个数据源进行分析的点解决方案中可能被忽略的威胁,例如你的防病毒软件或网络防火墙。

这种演变带来了很多挑战。除了更需要专业的专业知识和预先构建的规则外,SIEM 还集中收集了来自众多点解决方案的警报,每个解决方案本身都产生了很多误报,加剧了问题。SIEM 分析师必须审查集体网络和桌面警报。这导致了 SIEM 分析师经常问的一个问题:“我从哪里开始?”再加上 SIEM 本身的一整套新的检测警报。你的 SIEM 现在包含了网络中所有其他系统警报的总和,加上通常生成的警报数量。不用说,SIEM 产生了很多警报。

机器学习的承诺

机器学习(machine learning - ML)承诺以较少的维护需求改善未知威胁的检测。其目标是识别异常行为,而不是依靠硬编码的规则来查找每一个威胁。

在机器学习出现之前,检测工程师必须分析已经发生的攻击或可能发生的攻击(源自第一方研究),并为这种潜在的事件编写检测规则。例如,如果发现了一种利用发送给 Windows 进程的某些特定参数的攻击,人们可以编写一个规则来寻找执行时调用这些参数。但是,对手只需更改参数的顺序或以不同方式调用它们,就可以避免这种脆弱的检测。而且,如果这些参数有合法用途,可能需要花费几天(甚至几周)的时间来调整,以从检测逻辑中去除这些误报。

机器学习的承诺是极大地减少这一挑战。具体来说,ML 在两个方面有所帮助:

  • “无监督” 的基于ML的异常检测:分析师只需要决定在哪些领域寻找未知行为,如登录、进程执行和访问 S3 存储桶。然后,ML 引擎学习这些领域的正常行为,并标记出异常情况。SANS DFIR 在 2014 年制作了一个著名的海报,上面写着 “Know Abnormal…Find Evil. - 了解异常...发现恶意”。

  • 训练有素或 “监督” 的 ML 模型:人类分析师可以看到某些事物,并且他们的大脑可以联系起来,这看起来与之前观察到的攻击有些类似。这些专家能够了解攻击的发生方式,并将这些知识应用于寻找遵循类似进展的未知攻击。传统上,他们在威胁狩猎中使用这种专业知识来帮助发现安全产品可能错过的威胁。现在,有了机器学习,他们能够制定训练有素的模型检测,具有从以前的攻击中学习并找到以类似方式进行攻击的新攻击的能力。专注于行为 —— 而不仅仅是原子指标,如哈希值、文件中的字符串和 URL —— 允许检测具有更长的使用寿命和更高的攻击检测率。

2014 年 SANS DFIR 海报

异常活动的识别,或称为异常分析,使安全团队能够快速识别 “奇怪” 的活动并进行调查。奇怪可能是指某个用户在奇怪的时间从奇怪的地点登录,有时这可能是一名窃取了凭据以访问网络的对手。但有时候,这可能是正在度假的 Sally 在凌晨2点登录来解决网络问题。虽然误报增加了,但发现全新、以前没有发现的威胁的能力足以使人们对处理误报的额外帮助感到满意。用户和实体行为分析(UEBA)时代已经开始,现代 SIEM 系统由基于规则和机器学习的检测技术驱动。

SIEM 2.0 — 编排和自动化

从被动到主动的转变

正如我们所见,SIEM 曾经主要用于历史问题报告,而不是真正的端到端解决方案。SIEM 能够提醒你存在问题,但之后的清理工作需要你自行处理。这一情况随着 SOAR(security orchestration, automation, and response - 安全编排、自动化和响应)的引入而改变。这一新的产品线是为了填补 SIEM 中的功能缺口而创建的。它们提供了一个地方,用于收集和组织分析师希望执行的步骤以缓解攻击,并提供连接器连接到其它系统的生态系统以启动来自 SOAR 系统的响应。在我们的警察部门类比中,SOAR 就像是指挥其他系统执行命令的交通警察。它们是连接 SIEM 发现攻击和其他系统响应行动的粘合剂。

就像 UEBA 一样,从中央位置组织响应计划并启动行动的能力已成为现代 SIEM 的期望功能。现在,在 SIEM 2.0 的生命周期中,预期 SIEM 能够跨组织大规模收集数据(第 0 代),利用基于规则和基于机器学习的技术检测点解决方案可能错过的新威胁并在不同系统间进行关联(SIEM 1.0),并允许规划和执行响应计划(2.0)。实际上,一个新的缩写词 —— TDIR(threat detection, investigation, and response - 威胁检测、调查和响应)—— 被创造出来,以捕捉处理攻击全范围的能力。

SIEM 的第三代 — 现代安全分析

在网络安全中的生成式人工智能革命

尽管未能解决一个基本挑战 —— 网络安全领域的严重技能短缺,但 SIEM 已经成为 SOC 威胁检测、分析和调查的基础。一项由 IBM 委托进行的、由 Morning Consult 完成的 2023 年 3 月的研究发现,SOC 团队成员 “只有在一个典型工作日内完成了他们应该审查的警报的一半”。这是一个 50% 的盲点。数十年来的渐进改进(简化工作流程、自动化常规步骤、指导初级分析师等)已经有所帮助 —— 但还不够。随着消费者可访问的具有网络安全领域专业知识的生成式人工智能模型的出现,情况正在迅速改变。

这是技术第一次从高级分析师那里学习,并自动帮助初级成员应用这些知识。生成式人工智能现在帮助安全从业者制定特定于组织的应对计划、优先处理威胁、编写和策划检测、调试问题,以及处理其他常规且耗时的任务。生成式人工智能承诺将自动化反馈循环反馈到 SOC,实现每天不断的改进。我们现在可以通过这种自动化反馈和学习来闭环 OODA 循环。

由于大型语言模型的性质(生成式人工智能背后的科学),我们现在终于可以利用技术来跨越大量数据点进行推理,就像人类一样 —— 但规模更大、速度更快、理解更广泛。此外,用户可以使用自然语言与大型语言模型进行交互,而不是使用代码或数学,进一步降低了采用的障碍。以前从未有过分析师能够用自然语言提问,比如 “我的数据中是否包含任何可能对我的组织构成风险的活动?” 这是 SIEM 中可以嵌入的功能的能力上的前所未有的飞跃。生成式人工智能已成为一个强大而准确的数字 SOC 助手。

在安全运营工作流程中利用人工智能革命的产品将推出 SIEM 3.0。

了解 SIEM 演变的更多信息

本博文回顾了 SIEM 的演进历程,从集中收集数据到在组织层面检测威胁,再到自动化和编排以加速问题的解决。现在,在 SIEM 技术的第三阶段,我们终于着手解决网络安全领域的严重技能短缺。

在本系列的第二部分中,我们将讨论 Elastic Security 从 TDIR(威胁检测、调查和响应)发展为全球首个、也是唯一的 AI 驱动安全分析产品的演变过程。与此同时,你可以通过阅读这本电子书《网络安全的生成式人工智能:一个乐观但不确定的未来》来了解安全专业人员对生成式人工智能出现的反应。敬请期待第二部分!

本文中描述的任何功能或功能的发布和时间均由 Elastic 自行决定。目前不可用的任何功能或功能可能无法按时或根本无法交付。

在本博文中,我们可能使用或参考了第三方生成式人工智能工具,这些工具由各自的所有者拥有和运营。Elastic 对第三方工具没有任何控制权,对这些工具的内容、操作或使用不承担任何责任或义务,也不对你使用此类工具可能导致的任何损失或损害承担责任。在使用涉及个人、敏感或机密信息的 AI 工具时,请谨慎行事。你提交的任何数据可能用于 AI 培训或其他目的。我们不能保证你提供的信息将被保密和安全地保存。在使用任何生成式人工智能工具之前,请熟悉其隐私实践和使用条款。

Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine 和相关标志是 Elasticsearch N.V. 在美国和其他国家的商标、标志或注册商标。所有其他公司和产品名称均为其各自所有者的商标、标志或注册商标。

原文: Tracing history: The generative AI revolution in SIEM | Elastic Blog

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/935.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数据中台规划与建设方案PPT(建议收藏)

推荐书籍: 《分布式商业生态战略:数字商业新逻辑与企业数字化转型新策略》 书籍介绍: 本书从新时代商业环境出发,紧随市场热点,如元宇宙、Web 3.0、资产数字化、反垄断、要素市场化配置、分布式自治组织(d…

数据仓库作业五:第8章 关联规则挖掘

目录 第8章 关联规则挖掘作业题 第8章 关联规则挖掘 作业题 1、设4-项集 X { a , b , c , d } X\{a,b,c,d\} X{a,b,c,d},试求出由 X X X 导出的所有关联规则。 解: 首先生成项集的所有非空真子集。这包括: { a } , { b } , { c } , {…

UE5集成gRPC

最近有项目需要在UE5里做RPC,对比了thrift、gRPC、rcplib等开源rpc框架,由于习惯使用protobuf,故选择了gRPC。然而,Google出品也是一言难尽啊,最起码编译太繁琐了。 本次使用的gRPC版本为1.62.1,UE5.2&…

基于机器学习的车辆状态异常检测

基于马氏距离的车辆状态异常检测(单一传感器) 基于多元自动编码器的车辆状态异常检测 基于单传感器平滑马氏距离的车辆状态异常检测 工学博士,担任《Mechanical System and Signal Processing》等期刊审稿专家,擅长领域&#xff1…

【加密周报】中东“惊雷”炸响币圈!比特币减半成功完成,市场情绪已被提前消化!中美突传USDT重磅消息!

周五(4月19日),比特币经历惊魂一刻,伊朗核设施所处的中部城市伊斯法罕惊传爆炸,叙利亚与伊拉克也都传来爆炸声响,中东全面战争与核武攻击威胁触发加密市场恐慌情绪。比特币一度下探59600美元。但随后伊朗强调核设施未受损&#xf…

组件安全(Solr、Shiro、Log4j、Jackson、FastJson、XStream)

Solr 主要基于HTTP和 Apache Lucene 实现的全文搜索服务器。 特征&#xff1a;图标识别 端口&#xff1a;8393 CVE-2019-0193&#xff08;远程命令执行漏洞&#xff09; 漏洞版本&#xff1a;Apache Solr < 8.2.0 利用条件&#xff1a; Apache Solr 的 DataImportHandler 启…

二维码门楼牌管理应用平台建设:构建智能社区治理新模式

文章目录 前言一、二维码门楼牌管理应用平台的意义二、走访日志功能的重要性三、走访日志功能的具体应用四、走访日志功能的优势五、结语 前言 在数字化浪潮下&#xff0c;社区管理正面临着前所未有的机遇与挑战。二维码门楼牌管理应用平台的建设&#xff0c;不仅为社区治理提…

代码随想录训练营Day 27|Python|Leetcode|122.买卖股票的最佳时机II ● 55. 跳跃游戏 ● 45.跳跃游戏II

122.买卖股票的最佳时机II 给你一个整数数组 prices &#xff0c;其中 prices[i] 表示某支股票第 i 天的价格。 在每一天&#xff0c;你可以决定是否购买和/或出售股票。你在任何时候 最多 只能持有 一股 股票。你也可以先购买&#xff0c;然后在 同一天 出售。 返回 你能获…

fastjson转换json时默认将属性第一个字母转小写

描述&#xff1a; 我新建了一个实体类&#xff0c;但是实体类的首字母是大写的&#xff0c;但是使用fastjson后打印的&#xff0c;Json字符串首字母却是小写的&#xff0c;这是fastjson的一个bug 实体类&#xff1a; Json字符串&#xff1a; 解决方法&#xff1a; 一、使…

HoloLens2的Unity应用在电脑上发布成安装包,然后通过wifi安装到设备

一、VS工程中的鼠标右键 二、发布——>创建应用程序包 三、选择【旁加载】 四、选择签名方法&#xff1a; 五、选择和配置包 六、创建完毕 七、网络连接设备 八、登录设备 九、安装app

六边形酷科技特效单页源码

源码介绍 基于canvas画布绘制多个六边形追踪鼠标&#xff0c;科技感的几何图形酷炫动画特效&#xff0c; 单页html源码&#xff0c;可以做网站动态背景&#xff0c;喜欢的朋友可以拿去 效果截图 完整源码 <!doctype html> <html> <head> <meta charset…

项目7-音乐播放器3(删除模块+播放音乐模块设计)

1.播放音乐模块设计 1.1 请求响应设计 请求&#xff1a; { get, /music/get?pathxxx.mp3 } 响应&#xff1a; { 音乐数据本身的字节信息 } 1.2 后端代码 1. Files.readAllBytes(String path) : 读取文件中的所有字节&#xff0c;读入内存 &#xff…

SpringBoot集成FTP

1.加入核心依赖 <dependency><groupId>commons-net</groupId><artifactId>commons-net</artifactId><version>3.8.0</version></dependency> 完整依赖 <dependencies><dependency><groupId>org.springfra…

蛋白质亚细胞定位预测(生物信息学工具-017)

直奔主题&#xff0c;下面这张表图怎么制作&#xff0c;一般都是毕业论文hh&#xff0c;蛋白质的亚细胞定位如何预测&#xff1f; 01 方法 https://wolfpsort.hgc.jp/ #官网小程序&#xff0c;简单好用&#xff0c;不用R包&#xff0c;python包&#xff0c;linux程序&#x…

微服务使用SockJs+Stomp实现Websocket 前后端实例 | Vuex形式断开重连、跨域等等问题踩坑(一)

大家好&#xff0c;我是程序员大猩猩。 之前几篇文章&#xff0c;我们讲了Spring Cloud Gateway的轻量级实现&#xff0c;Nginx的配置概念与实现&#xff0c;如以下往期文章。 轻量级的Spring Cloud Gateway实践&#xff0c;实现api和websocket转发轻松实现Nginx的HTTP与WebS…

基于Springboot+Vue的Java项目-网上超市系统开发实战(附演示视频+源码+LW)

大家好&#xff01;我是程序员一帆&#xff0c;感谢您阅读本文&#xff0c;欢迎一键三连哦。 &#x1f49e;当前专栏&#xff1a;Java毕业设计 精彩专栏推荐&#x1f447;&#x1f3fb;&#x1f447;&#x1f3fb;&#x1f447;&#x1f3fb; &#x1f380; Python毕业设计 &am…

平衡二叉树(后序遍历,力扣110)

解题思路&#xff1a;采取后序遍历的好处是先遍历节点得到高度&#xff0c;然后再判断高度差是否大于一&#xff0c;如果是的话就返回-1&#xff0c;不是就返回两高度中较大的高度加一就是父节点的高度 具体代码如下&#xff1a; class Solution { public: int travel(TreeN…

# 从浅入深 学习 SpringCloud 微服务架构(三)注册中心 Eureka(2)

从浅入深 学习 SpringCloud 微服务架构&#xff08;三&#xff09;注册中心 Eureka&#xff08;2&#xff09; 段子手168 1、搭建 EurekaServer 注册中心&#xff0c;使用 Eureka 的步骤&#xff1a; 1&#xff09;搭建 EurekaServer 创建工程&#xff0c;导入依赖坐标&…

论文阅读-Multiple Targets Directed Greybox Fuzzing (Hongliang Liang,2024)

标题: Multiple Targets Directed Greybox Fuzzing (Hongliang Liang,2024) 作者: Hongliang Liang, Xinglin Yu, Xianglin Cheng, Jie Liu, Jin Li 期刊: IEEE Transactions on Dependable and Secure Computing 研究问题: 发现局限性&#xff1a;之前的定向灰盒测试在有…

“中医显示器”是人体健康监测器

随着科技的进步&#xff0c;现代医学设备已经深入到了人们的日常生活中。然而&#xff0c;在这个过程中&#xff0c;我们不应忘记我们的医学根源&#xff0c;中医。我们将中医的望、闻、问、切四诊与现代科技相结合&#xff0c;通过一系列的传感器和算法将人体的生理状态以数字…