【开源威胁情报挖掘3】开源威胁情报融合评价

基于开源信息平台的威胁情报挖掘综述

  • 写在最前面
  • 5. 开源威胁情报关联分析
    • 5.1 开源威胁情报网络狩猎:技术、方法和最新研究
      • 应用实例和未来方向
    • 5.2 开源威胁情报态势感知
      • 关键技术和方法
      • 应用实例和未来方向
    • 5.3 开源威胁情报恶意检测
      • 关键技术和方法
      • 应用实例和未来方向
    • 5.4 总结与对比
      • 开源威胁情报联合分析相关研究分类总结对比
      • 未来发展
  • 6 总结与展望
    • 开源威胁情报挖掘的现状
    • 主要挑战与未来展望
    • 总结

写在最前面

目前计划在网络安全领域的开源威胁情报挖掘展开进一步实验和论文写作,欢迎交流。

本文基于2022年1月《信息安全学报》崔琳等老师的论文 基于开源信息平台的威胁情报挖掘综述 进行梳理了解。

该论文为我们提供了一个全面的开源威胁情报挖掘框架,涵盖了该领域的关键方向、技术应用及未来趋势。
注意:这篇论文发布时间稍早,最前沿的视角需要之后再去补充阅读其他相关论文。

关键词:开源威胁情报;识别提取;融合评价;关联分析


这篇综述的内容相当扎实,所以预期分几次完成阅读。

前文:
【开源威胁情报挖掘1】引言 + 开源威胁情报挖掘框架 + 开源威胁情报采集与识别提取
【开源威胁情报挖掘2】开源威胁情报融合评价

本文为综述的第五、六章节,将梳理开源威胁情报挖掘技术的开源威胁情报融合评价

详细论述开源威胁情报关联分析的三个核心应用场景,为网络安全专业人士和研究者提供了全面的理解和参考。这些分析方法在提高威胁检测和响应能力方面具有重要价值。

有助于新入领域的研究者全面理解开源威胁情报挖掘,并为细分方向的研究者提供参考,以突破现有研究的局限性。

5. 开源威胁情报关联分析

开源威胁情报关联分析是网络安全领域的一个关键方向,综合运用 Kill Chain、钻石或异构信息网络等模型, 结合开源威胁情报信息, 对实时攻击流量数据进行深度关联、碰撞、分析等操作, 以期发现一些潜在的攻击行为, 进而推理挖掘揭示出隐含的攻击链条等高价值威胁信息,以发现、分析并揭示潜在的攻击行为和高价值威胁信息。

专注于开源威胁情报关联分析的三个核心应用场景:网络狩猎、态势感知、恶意检测。

  • 网络狩猎:网络狩猎通常采用威胁情报驱动的检测方法,主动搜索网络流量数据,以便检测可能逃避现有安全防御措施的威胁。该领域涉及图计算、模式匹配、领域特定语言等技术理论,旨在通过主动搜索和分析网络流量,提前发现并阻止潜在威胁。

  • 态势感知:态势感知基于大数据视角,依托威胁情报,从全局角度提升对安全威胁的识别、理解、响应和处置能力。该领域的研究近期开始引入博弈理论,以分析安全态势的发展和变化,从而更有效地预测和应对恶意攻击行为。

  • 恶意检测:恶意检测利用开源威胁情报辅助检测目标系统内的恶意代码或程序。常见的方法包括从开源威胁情报中提取检测知识,结合恶意软件的静态和动态特征数据,构建网络安全知识图谱(Cybersecurity Knowledge Graph, CKG),用于深入分析和挖掘恶意软件行为。

5.1 开源威胁情报网络狩猎:技术、方法和最新研究

网络狩猎是一种主动和反复搜索网络和数据的方法,用于筛选可能逃避现有安全防御措施的威胁攻击。这一领域的研究成果显示,开源威胁情报可以有效支持威胁行为的狩猎。

威胁狩猎[75]一般是采用人工分析和机器辅助的方法, 针对网络和数据进行主动和反复的搜索, 从而筛选出可能逃避现有安全防御措施的威胁攻击。

与传统检测方式相比, 网络狩猎拓展了威胁检测方式, 可充分利用第三方威胁情报信息来提升对新型威胁的检测能力, 具有明确的目的性, 包括:
1、缩减威胁目标的狩猎范围,
2、显著减少威胁检测时间,
3、搜索发现未知威胁等。

以下是一些代表性的研究成果:

  1. EFFHUNTER (文献76): 提出了一个使用OSCTI搜索网络威胁的系统,它通过无监督、轻量级和精确的NLP管道从非结构化OSCTI文本中提取结构化威胁行为。

  2. 自动化黑客论坛分析 (文献15): 提出了一种自动识别黑客论坛、IRC频道和Cardingshop内潜在威胁的方法,通过机器学习和信息检索技术相结合识别潜在网络威胁。

  3. 多暗网数据源OSCTI识别提取 (文献77): 设计实现了针对多暗网数据源的OSCTI识别提取工具,以实现快速集成、跨数据集目标分析和威胁关联检测。

  4. MANTIS (文献78): 开发了新威胁情报平台,使用基于属性图的相似性算法,将不同的威胁数据形式统一表示,方便安全分析师识别潜在威胁。

  5. 网络威胁狩猎系统Poirot (文献79): 依托图挖掘关联技术,将威胁情报和各类日志进行关联分析,从攻击者和被控主机视角呈现威胁全貌。

应用实例和未来方向

开源威胁情报网络狩猎的应用实例包括但不限于实时识别威胁主题(文献81)、OSCTI威胁类型识别(文献82)、黑客社区恶意资产分析(文献83),以及基于威胁情报知识图谱的主动威胁发现(文献84)。

网络狩猎领域未来的研究方向可能集中在进一步优化威胁情报的自动化提取和分析方法,以及将这些信息更有效地整合到现有的安全防御框架中。

5.2 开源威胁情报态势感知

开源威胁情报态势感知是一种基于大数据分析的安全防御方法,目的是全面掌握和响应系统安全威胁。本文梳理了在此领域的关键技术和最新研究成果。

关键技术和方法

开源威胁情报态势感知技术的核心在于有效利用开源情报信息,以便快速感知网络威胁。以下是一些代表性的研究成果:

  1. 使用开源情报感知APT攻击 (文献85): Husari等人提出了一种方法,利用非结构化信息(如博客、邮件和社交媒体)构建TTP链,以感知APT攻击。

  2. 基于DNS流量和开源情报的APT探测 (文献86): 上海大学的李等人提出了一种方法,结合DNS流量和开源威胁情报测算系统DNS域名的风险值。

  3. 探测和预测APT攻击 (文献87): 温等人综合运用情报收集、网络安全监控、基于知识的推理等手段,有效探测和预测APT攻击。

应用实例和未来方向

态势感知的应用实例包括集成OSCTI的信息安全管理系统 (文献88)、监视工业4.0网络威胁 (文献89)、基于博弈论的态势感知 (文献90-94)。这些应用展示了开源威胁情报在安全态势感知中的多样化使用。

未来方向可能包括进一步优化多语言威胁情报处理,如Ranade等人提出的跨语言翻译系统 (文献95),以及更精确地集成开源情报信息到现有安全防御框架中。

5.3 开源威胁情报恶意检测

开源威胁情报恶意检测是一种使用开源情报信息来发现和防御网络攻击的方法。本文梳理了在此领域的关键技术和最新研究成果。

关键技术和方法

以下是一些在开源威胁情报恶意检测领域的代表性研究成果:

  1. 早期预警系统 (文献96): Gandotra等人设计了一个框架,用于分析、识别和预测恶意软件,并生成可供安全机构共享的威胁情报。

  2. 恶意软件机器学习分类器 (文献97): 胡等人提出了一种基于开源威胁情报的分类器,能够从恶意软件中提取多方面内容特征,如指令序列和字符串。

  3. 网络安全知识图谱 (文献98): Piplai等人提出了一个方法,将开源威胁情报中的知识与沙箱中捕获的恶意软件行为数据结合起来,构建知识图谱。

  4. 特征集自动生成 (文献99): 来自马里兰大学的团队提出了FeatureSmith,这是一种从安全会议论文内容中自动提取特征集的方法。

  5. 恶意URL检测系统 (文献100): 中国科学院大学的汪鑫等人开发了一个基于开源威胁情报平台的系统,用于提取URL的结构特征和敏感词特征。

  6. XSS攻击检测方法 (文献101): 提出了一种结合贝叶斯网络域内知识和开源威胁情报的方法,用于检测XSS攻击。

应用实例和未来方向

开源威胁情报恶意检测的应用涉及恶意软件和URL检测,数字取证等领域。例如,Serketzis等人(文献102-103)利用开源威胁情报提高数字取证效率。

未来方向可能包括进一步融合机器学习技术与开源威胁情报,提升恶意软件和网络攻击的检测精度,并开发更多自动化工具来加快响应时间和提高效率。

5.4 总结与对比

开源威胁情报关联分析是网络安全领域的一个重要研究方向,涉及网络狩猎、态势感知和恶意检测三个核心应用场景。本文将详细探讨这三个方向的最新研究进展,并进行对比分析。

  • 网络狩猎
    网络狩猎侧重于搜寻未知、新型或变异的网络攻击威胁。这种方法通常采用机器学习和NLP技术,通过主动搜索来检测可能逃避现有安全防御措施的攻击目标。

  • 态势感知
    态势感知则更注重提升对全局威胁形势的把握,包括决策支持、威胁分类和攻击预测。这一方向通常应用深度学习技术,以全局视角分析和预测安全威胁。

  • 恶意检测
    恶意检测专注于识别可能对目标资产造成实质性侵害的恶意实体,如恶意软件、URL和恶意活动。这通常涉及对恶意软件或URL特征的提取和分析。

  • 技术对比

    • 网络狩猎: 通常结合数据处理技术和特定领域查询语言。
    • 态势感知: 频繁使用深度学习技术,以及博弈论等理论模型。
    • 恶意检测: 侧重于使用开源情报来提取恶意实体的特征,结合机器学习和知识图谱技术。

开源威胁情报联合分析相关研究分类总结对比

如下表 4 所示, 表中每一行代表一项研究工作:
第 1 列代表相关开源威胁情报联合分析研究被分类的三个主要方向;
第 3 列为每个研究工作的具体技术应用场景;
第 4 列为该项研究为实现任务所应用的具体技术方法, 主要从数据处理, 关系模型构建, 检测方法以及数据存储方向进行归纳分析;
第 5 列为性能评估;
第 6 列为通过总结优缺点对该项研究工作的评价。

在这里插入图片描述

未来发展

随着对关键基础设施的网络攻击日趋复杂化,开源威胁情报在关联分析中的作用愈发重要。需要在现有研究的基础上,投入更多资源进行深入开发和应用探索。

6 总结与展望

开源威胁情报(OSCTI)作为网络安全领域的一个重要部分,提供了丰富、多样且快速响应的信息资源,有助于提高网络攻击的检测、识别和响应处理能力。本文深入分析了开源威胁情报挖掘的当前研究现状,挑战和未来趋势。

开源威胁情报挖掘的现状

开源威胁情报挖掘涉及信息采集、质量评价和关联应用等多个关键领域,当前的研究工作表明,从信息源的拓展、数据质量评价到安全防御应用价值等方面,开源威胁情报挖掘正快速发展。然而,存在的局限性也为未来的发展带来了机遇和挑战。

主要挑战与未来展望

  1. 统一信息模型和框架: 当前研究多局限于特定社区或平台,缺乏全局和共性角度的基础性研究。未来需构建面向学术研究的统一信息模型和框架,促进领域的长期发展。
    从已有开源情报挖掘相关工作分析中不难看出,很多开源情报挖掘问题都可通过应用命名实体识别技术或其他人工智能技术,如正则表达式匹配,BiLSTM+CRF等来进行实现,不同的开源情报平台,如社交网络、技术博客或研究报告等都完全可以共享同一个信息模型和基础算法。如何构建形成面向学术研究的统一信息模型和框架是一个重要问题。

  2. 数据投毒的风险评估: 开源平台的开放性导致信息质量易受干扰。需要研究有效的风险分析与评估模型,特别是在面对数据投毒等问题时。

  3. 开发支撑工具: 面向大众的开源情报开发支撑工具的研究,对建立友好的威胁情报生态至关重要。这包括对大规模异构数据的快速处理和统一的威胁数据信息模型的建立。

  4. 时效性提升: 现有技术多聚焦于特定环节的效率提升。未来应从整体上提升威胁情报的时效性,包括对大规模动态数据的高效处理和激励机制的设计。

总结

开源威胁情报挖掘技术能够有效缓解传统威胁情报的局限性,受到学术界和工业界的广泛关注。本文的分析和讨论旨在为威胁情报应用及相关安全领域的研究和实践提供有益的借鉴和启发,促进该领域的健康发展。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/192728.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【大学英语视听说上】“智力”口语问答练习

题目: book 2, page 9, question 4 回答: 1: What do you think of the view “Intelligence must be bred, not trained”? I think this view is biased. The view suggests that intelligence is primarily determined by genetic factors and inh…

生成对抗网络——研讨会

时隔一年,再跟着李沐大师学习了GAN之后,仍旧没能在离散优化中实现通用的应用,实在惭愧,借着组内研讨会的机会,再队GAN的前世今生做一个简单的综述。 GAN产生的背景 目前与GAN相关的应用 去reddit社区的机器学习板块…

【ArcGIS Pro微课1000例】0041:Pro强大的定位搜索功能、定位窗格、地图上查找地点

一谈到搜索,你是不是还停留在矢量数据的属性表中呢?今天给大家介绍ArcGIS Pro中定位搜索强大功能的使用,可以基于在线地图、矢量数据等多种数据源,进行地址、地名、道路、坐标等的查找。 文章目录 一、定位工具介绍二、在线地图搜索三、本地矢量数据搜索四、无地图搜索五、…

为何全球电商都在拼“质价比”?

远在西雅图的希拉里,在著名的“黑色星期五”大促开始之前,她就已经准备好了一份购物清单。 然而,她发现身边的朋友们总是拉她组团购物。 在朋友和社交媒体的持续轰炸下,希拉里决定尝试一下这个让人贼上头的Temu。 最终&#xf…

学习-java多线程面试题

为什么不建议用Executors启动线程池 *队列LinkedBlockingQueue是没有边界的队列,请求多会造成OOM *建议使用ThreadPoolExecutors 线程池中提交一个任务的流程? 1先判断线程池是否有线程,如果与就直接执行,没有就放队列 2如果队列满了&#…

Linux常用命令——atrm命令

在线Linux命令查询工具 atrm 删除待执行任务队列中的指定任务 补充说明 atrm命令用于删除待执行任务队列中的指定任务。 语法 atrm(选项)(参数)选项 -V:显示版本号。参数 任务号:指定待执行队列中要删除的任务。 实例 删除已经排队的任务 atq…

FPGA纯verilog实现 LZMA 数据压缩,提供工程源码和技术支持

FPGA纯verilog实现 LZMA 数据压缩,提供工程源码和技术支持 目录 1、前言2、我这儿已有的FPGA压缩算法方案3、FPGA LZMA数据压缩功能和性能4、FPGA LZMA 数据压缩设计方案 输入输出接口描述数据处理流程 LZ检索器数据同步LZMA 压缩器为输出LZMA压缩流添加文件头5、…

Debian下载安装教程

目录 一.前言二.下载三.安装 一.前言 这篇文章展示如何使用VMware Workstation Player安装Debian12虚拟机。 二.下载 官网地址:官网 进入官网之后可以直接点击下载Debian选项,这样下载的是最新版的网络安装镜像。 三.安装 使用VMware Workstation P…

PTA校赛算法题十道java、C++详解

目录 7-1 专1 签到 7-2 专2 令人眼花缭乱的字符串 7-3 专3 VALORANT 7-4 专4 吃蛋糕 7-5 专5 Game 7-6 专6 二进制回文串 7-7 专7 度假 7-8 专8 括号匹配Plus 7-9 专9 生成最少叶子树 7-10 专10 禁止超速 这篇文章是基于我们前不久的校赛写的,校赛给的…

麒麟系统添加环境变量

环境变量添加方法 方法一:用户主目录下的.profile或.bashrc文件(推荐) 登录到你的用户(非root),在终端输入: sudo vim ~/.profile 或者 sudo vim ~/.bashrc 翻到该文件最后&#xff0c…

电容和电感

一、电感 1)图片 2)作用 a)储存容量 例如dcdc转换器的原理,将一个电压值转换成另外一个电压值 b)选择信号 比如空气中弥漫着很多信号,我们应该怎么选取我们所需要的信号。 电感和电容可以看成一个电阻,当电…

PTA结构体经典编程题

目录 第一题:计算平均成绩 第二题:平面向量加法 第三题:查找书籍 第四题:通讯录排序 第五题:计算职工工资 第一题:计算平均成绩 思路:看到一个学生的基本信息,所以定义一个结构…

神经网络模型预训练

根据神经网络各个层的计算逻辑用程序实现相关的计算,主要是:前向传播计算、反向传播计算、损失计算、精确度计算等,并提供保存超参数到文件中。 # coding: utf-8 import sys, os sys.path.append(os.pardir) # 为了导入父目录的文件而进行的…

【Python百练——第3练】矩形类及操作

💐作者:insist-- 💐个人主页:insist-- 的个人主页 理想主义的花,最终会盛开在浪漫主义的土壤里,我们的热情永远不会熄灭,在现实平凡中,我们终将上岸,阳光万里 ❤️欢迎点…

Golang 原生Rpc Server实现

Golang 原生Rpc Server实现 引言源码解析服务端数据结构服务注册请求处理 客户端数据结构建立连接请求调用 延伸异步调用定制服务名采用TPC协议建立连接自定义编码格式自定义服务器 参考 引言 本文我们来看看golang原生rpc库的实现 , 首先来看一下golang rpc库的demo案例: 服…

python的制图

测试数据示例: day report_user_cnt report_user_cnt_2 label 2023-10-01 3 3 欺诈 2023-10-02 2 4 欺诈 2023-10-03 6 5 欺诈 2023-10-04 2 1 正常 2023-10-05 4 3 正常 2023-10-06 4 4 正常 2023-10-07 2 6 正常 2023-10-08 3 7 正常 2023-10-09 3 12 正常 2023-…

找不到DNS地址的解决方案

找不到DNS地址的解决方案 第一种解决方案:刷新DNS缓存第二种解决方案: 配置Internet协议版本4(TCP/IPv4)配置IP地址配置DNS地址 如何查看本机IPv4地址、子网掩码与默认网关 第一种解决方案:刷新DNS缓存 WINR输入cmd回…

基于SSH三大框架的员工管理系统

基于SSH三大框架的员工管理系统 摘要 本系统为本人学习SSH三大框架时所做的整合实例,系统角色包括普通用户和管理员两种,首页有管理员登录入口链接。系统功能主要包括管理员对用户的基本增、删、改、查和分页显示用户信息等。 系统环境 本系统使用ec…

【C++练级之路】【Lv.1】C++,启动!(命名空间,缺省参数,函数重载,引用,内联函数,auto,范围for,nullptr)

目录 引言入门须知一、命名空间1.1 作用域限定符1.2 命名空间的意义1.3 命名空间的定义1.4 命名空间的使用 二、C输入&输出2.1 cout输出2.2 cin输入2.3 std命名空间的使用惯例 三、缺省参数3.1 缺省参数概念3.2 缺省参数分类 四、函数重载4.1 函数重载概念4.2 函数重载分类…

BUUCTF 间谍启示录 1

BUUCTF:https://buuoj.cn/challenges 题目描述: 在城际公路的小道上,罪犯G正在被警方追赶。警官X眼看他正要逃脱,于是不得已开枪击中了罪犯G。罪犯G情急之下将一个物体抛到了前方湍急的河流中,便头一歪突然倒地。警官X接近一看&…