RT-IoT2022 数据集-扩展数据(自制方法)

数据集官网Discover datasets around the world!icon-default.png?t=N7T8https://archive.ics.uci.edu/dataset/942/rt-iot2022RT-IoT2022 是源自实时物联网基础设施的专有数据集,作为集成了各种物联网设备和复杂网络攻击方法的综合资源而引入。该数据集包含正常和对抗性网络行为,提供了现实世界场景的一般表示。 RT-IoT2022 结合了来自 ThingSpeak-LED、Wipro-Bulb 和 MQTT-Temp 等物联网设备的数据,以及涉及暴力 SSH 攻击、使用 Hping 和 Slowloris 的 DDoS 攻击以及 Nmap 模式的模拟攻击场景,提供了详细的洞察网络流量的复杂性。使用 Zeek 网络监控工具和 Flowmeter 插件精心捕获网络流量的双向属性。研究人员可以利用 RT-IoT2022 数据集来提高入侵检测系统 (IDS) 的功能,促进实时物联网网络的稳健和自适应安全解决方案的开发。

数据集出处论文:

[PDF] Quantized autoencoder (QAE) intrusion detection system for anomaly detection in resource-constrained IoT devices using RT-IoT2022 dataset | Semantic ScholarThis study proposes quantized autoencoder (QAE) model for intrusion detection systems to detect anomalies and shows that QAE-u8 outperforms all other models with a reduction of 70.01% in average memory utilization, 92.23% in memory size compression, and 27.94% in peak CPU utilization. In recent years, many researchers focused on unsupervised learning for network anomaly detection in edge devices to identify attacks. The deployment of the unsupervised autoencoder model is computationally expensive in resource-constrained edge devices. This study proposes quantized autoencoder (QAE) model for intrusion detection systems to detect anomalies. QAE is an optimization model derived from autoencoders that incorporate pruning, clustering, and integer quantization techniques. Quantized autoencoder uint8 (QAE-u8) and quantized autoencoder float16 (QAE-f16) are two variants of QAE built to deploy computationally expensive AI models into Edge devices. First, we have generated a Real-Time Internet of Things 2022 dataset for normal and attack traffic. The autoencoder model operates on normal traffic during the training phase. The same model is then used to reconstruct anomaly traffic under the assumption that the reconstruction error (RE) of the anomaly will be high, which helps to identify the attacks. Furthermore, we study the performance of the autoencoders, QAE-u8, and QAE-f16 using accuracy, precision, recall, and F1 score through an extensive experimental study. We showed that QAE-u8 outperforms all other models with a reduction of 70.01% in average memory utilization, 92.23% in memory size compression, and 27.94% in peak CPU utilization. Thus, the proposed QAE-u8 model is more suitable for deployment on resource-constrained IoT edge devices.icon-default.png?t=N7T8https://www.semanticscholar.org/paper/753f6ede01b4acaa325e302c38f1e0c1ade74f5b特征及标签

'id.orig_p', 'id.resp_p', 'proto', 'service', 'flow_duration','fwd_pkts_tot', 'bwd_pkts_tot', 'fwd_data_pkts_tot','bwd_data_pkts_tot', 'fwd_pkts_per_sec', 'bwd_pkts_per_sec','flow_pkts_per_sec', 'down_up_ratio', 'fwd_header_size_tot','fwd_header_size_min', 'fwd_header_size_max', 'bwd_header_size_tot','bwd_header_size_min', 'bwd_header_size_max', 'flow_FIN_flag_count','flow_SYN_flag_count', 'flow_RST_flag_count', 'fwd_PSH_flag_count','bwd_PSH_flag_count', 'flow_ACK_flag_count', 'fwd_URG_flag_count','bwd_URG_flag_count', 'flow_CWR_flag_count', 'flow_ECE_flag_count','fwd_pkts_payload.min', 'fwd_pkts_payload.max', 'fwd_pkts_payload.tot','fwd_pkts_payload.avg', 'fwd_pkts_payload.std', 'bwd_pkts_payload.min','bwd_pkts_payload.max', 'bwd_pkts_payload.tot', 'bwd_pkts_payload.avg','bwd_pkts_payload.std', 'flow_pkts_payload.min','flow_pkts_payload.max', 'flow_pkts_payload.tot','flow_pkts_payload.avg', 'flow_pkts_payload.std', 'fwd_iat.min','fwd_iat.max', 'fwd_iat.tot', 'fwd_iat.avg', 'fwd_iat.std','bwd_iat.min', 'bwd_iat.max', 'bwd_iat.tot', 'bwd_iat.avg','bwd_iat.std', 'flow_iat.min', 'flow_iat.max', 'flow_iat.tot','flow_iat.avg', 'flow_iat.std', 'payload_bytes_per_second','fwd_subflow_pkts', 'bwd_subflow_pkts', 'fwd_subflow_bytes','bwd_subflow_bytes', 'fwd_bulk_bytes', 'bwd_bulk_bytes','fwd_bulk_packets', 'bwd_bulk_packets', 'fwd_bulk_rate','bwd_bulk_rate', 'active.min', 'active.max', 'active.tot', 'active.avg','active.std', 'idle.min', 'idle.max', 'idle.tot', 'idle.avg','idle.std', 'fwd_init_window_size', 'bwd_init_window_size','fwd_last_window_size', 'Attack_type'

各种攻击类型的数据量

可以看到后面几种攻击几乎没有多少数据,导致的结果就是这几类识别的准确率特别低,大多数都识别成了DOS_SYN_Hping或者ARP_poisioning,如Metasploit_Brute_Force_SSH识别成DOS_SYN_Hping.

为了提高准确率,需要获取更多的训练数据.根据论文,找到了数据生成方法

即使用 CICFlowmeter 工具将从 Wireshark 收集的 PCAP 文件转换并转储为 CSV 文件.

但这里的CICFlowmeter并非是https://github.com/ahlashkari/CICFlowMeter

CICFlowmeter的官方版本没有提供那么多特征.

而是zeek的重置版.

论文真正用到的工具是nullicon-default.png?t=N7T8https://github.com/zeek-flowmeter/zeek-flowmeter/完美匹配到了83个特征,并且连特征名字都是一样的.

Zeek FlowMeter安装方法

请使用linux系统

安装zeek

echo 'deb http://download.opensuse.org/repositories/security:/zeek/xUbuntu_22.04/ /' | sudo tee /etc/apt/sources.list.d/security:zeek.list
curl -fsSL https://download.opensuse.org/repositories/security:zeek/xUbuntu_22.04/Release.key | gpg --dearmor | sudo tee /etc/apt/trusted.gpg.d/security_zeek.gpg > /dev/null
sudo apt update
sudo apt install zeek-6.0

zeek默认安装位置是/opt/zeek

需要手动添加环境变量

安装Zeek FlowMeter模块

先安装zkg,直接输入命令zkg会提示缺少一些python的包,根据提示安装即可.

把Zeek FlowMeter的代码库拉取到本地,并安装

git clone https://github.com/zeek-flowmeter/zeek-flowmeter.git
cd zeek-flowmeter
zkg install .

Zeek FlowMeter添加到本地 zeek 配置(可选)

要将 FlowMeter 添加到 zeek 的标准本地配置中,请编辑<zeekscriptdir>/site/local.zeek并添加

@load flowmeter

流量监控分析

使用wireshark监控流量并导出pcap文件.

zeek flowmeter -r your.pcap 

执行完命令就会在当前文件夹下生成log文件

最后处理log文件就可以生成和数据集相同格式的数据

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/8342.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

modbus协议完整介绍

一、MODBUS通讯协议完整介绍&#xff08;全文10000字以上&#xff09; - 知乎 modbus协议之-01-初次见面_一个寄存器有几个字节-CSDN博客

基于ConvNeXt网络的图像识别

1、前言 ConvNeXt 网络基于传统的卷积神经网络&#xff0c;与当下 transformer当道而言简直是一股清流 ConvNeXt并没有特别复杂或者创新的结构 ConvNeXt 网络有五种大小&#xff0c;可以参考下面 2、项目实现 完整的项目如下&#xff1a; 这里参考了网上的ConvNeXt 模型&…

Springboot+Vue项目-基于Java+MySQL的个人云盘管理系统(附源码+演示视频+LW)

大家好&#xff01;我是程序猿老A&#xff0c;感谢您阅读本文&#xff0c;欢迎一键三连哦。 &#x1f49e;当前专栏&#xff1a;Java毕业设计 精彩专栏推荐&#x1f447;&#x1f3fb;&#x1f447;&#x1f3fb;&#x1f447;&#x1f3fb; &#x1f380; Python毕业设计 &…

js知识库

script标签的async和defer作用及区别 1&#xff09;都会起到延迟执行js的作用 2&#xff09;defer&#xff1a;先进行html解析&#xff0c;解析过程中会下载js文件&#xff0c;但不会执行&#xff1b;当html完全解析完&#xff0c;才会执行js部分。多个用defer修饰的js是顺序…

速卖通vs亚马逊vs虾皮,三大跨境电商平台详细对比

近几年跨境电商行业可以说是十分火热&#xff0c;跨境电商平台也是非常多&#xff0c;如亚马逊、速卖通、虾皮、lazada等等。今天就给大家分享速卖通、亚马逊和虾皮这三个平台之间的区别&#xff0c;帮助大家快速找到适合自己的平台。 三大跨境电商平台详细对比 速卖通 &#x…

视图地一些笔记

1. 创建视图&#xff08;CREATE VIEW&#xff09;时&#xff0c;通常不会输出任何结果集。它只是一种定义逻辑视图的方式&#xff0c;在数据库中保存一个查询定义。要查看视图中的内容&#xff0c;你需要使用 SELECT 语句查询该视图。例如&#xff0c;如果你创建了名为 new_us…

神经网络的基础:从感知机到复杂网络的进化

文章目录 一、神经网络的例子二、理解神经信号的传递2.1 感知机的结构和功能2.2 优化函数2.3 明确表示偏置 三、理解感知机和激活函数的作用3.1 基础感知机模型3.2 激活函数的引入 一、神经网络的例子 理解感知机 在探索神经网络之前&#xff0c;我们首先回顾了感知机的基本概…

iOS抓包工具——Stream

[清风穆云 ](https://cloud.tencent.com/developer/user/4224041) iOS抓包工具——Stream 关注作者 前往小程序&#xff0c;Get_更优_阅读体验&#xff01; 立即前往 腾讯云 开发者社区 文档建议反馈控制台 首页 学习 活动 专区 工具 TVP [最新优惠活动 ](http…

关键字标识

题目描述 给定一个关键词集合 words 和一个字符串 inputStr,要求将 inputStr 中出现的所有关键词用标签标记: 关键词标签的起始为,结束为。 把可以合并的标签进行合并,即使用最少的标签。合并规则如下: 关键词相邻则进行合并,如 ab、cd为关键词,且在字符串中相邻,则合…

gtest Unitest 打桩优化

接口(宏)简单介绍 SMOCK StubMock类的单例对象 V_ADDR 获取类虚拟函数地址 O_ADDR 获取重载函数地址&#xff08;只支持类成员函数&#xff09; NF_SMOCK 函数打桩 F_SMOCK 函数打桩&#xff0c;会去调用NF_SMOCK&#xff0c;调用时默认第一个参数为0 SMOCK_CLEAR 清除所有…

可视化实验三 Matplotlib库绘图及时变数据可视化

1.1 任务一 1.1.1 恢复默认配置 #绘图风格&#xff0c;恢复默认配置 plt.rcParams.update(plt.rcParamsDefault)#恢复默认配置 或者 plt.rcdefaults() 1.1.2 汉字和负号的设置 import matplotlib.pyplot as plt plt.rcParams["font.sans-serif"]"SimH…

java设计模式七 适配器

适配器模式&#xff08;Adapter Pattern&#xff09;是一种结构型设计模式&#xff0c;它的核心思想是将一个接口转换成客户端期望的另一个接口&#xff0c;使得原本不兼容的接口可以协同工作。在Java中&#xff0c;适配器模式可以通过类继承或对象组合的方式来实现。 ### Jav…

物体移动方向和转向问题

比如在屏幕中有一条鱼&#xff0c;它可以向左或向右移动&#xff0c;固定时间旋转方向调换移动方向。 using System.Collections; using System.Collections.Generic; using UnityEngine;public class fishMove: MonoBehaviour {public int speed 3;public Vector3 moveDirec…

Vue3 路由入门

先安装路由 npm i vue-router //创建路由器 import { createRouter, createWebHashHistory } from vue-router//1.导入组件 import Home from /components/Home.vue import News from /components/News.vue//2.配置路由映射规则 const routes [{name: home,path: /home,compo…

学习方法的重要性

原贴&#xff1a;https://www.cnblogs.com/feily/p/13999204.html 原贴&#xff1a;https://36kr.com/p/1236733055209095 1、 “一万小时定律”的正确和误区 正确&#xff1a; 天才和大师的非凡&#xff0c;不是真的天资超人一等&#xff0c;而是付出了持续不断的努力&…

Java数组创建与使用

一.创建和初始化 1.数组是怎么创建的&#xff1f; 直接举例子&#xff1a; int[] arr new int[10]; 这里只简单的举一个int开辟数组的例子。 可见java数组的创建于C语言是不同的。前面是一个int[ ]就是一个数组的数据类型&#xff0c;后面的arr是数组名&#xff0c;最后[…

OpenCV | 项目 | 虚拟绘画

OpenCV | 项目 | 虚拟绘画 捕捉摄像头 如果在虚拟机中运行&#xff0c;请确保虚拟机摄像头打开。 #include<opencv2/opencv.hpp>using namespace cv; using namespace std;int main() {VideoCapture cap(0);Mat img;while(1) {cap.read(img);imshow("Image"…

stm32 st7735驱动 详解

初始化指令 void LCD_Init(void) { #if USE_SIM_SPILCD_SIM_SPI_GPIO_Init(); #endifLCD_RES_0();//复位HAL_Delay(100);LCD_RES_1();HAL_Delay(100);LCD_BLK_1();//打开背光HAL_Delay(100);//************* Start Initial Sequence **********//LCD_SPI_Send_Cmd(0x11); //Sl…

华为eNSP综合实验-网络地址转换

实验完成之后,在AR1的g0/0/1接口抓包,查看地址转换 实现私网pc访问公网pc 实验命令展示 SW1: vlan batch 12 #创建vlan interface e0/0/1 #进入接口配置vlan端口 port link-type access port default vlan 12 q interface e0/0/2 #进入接口配置vlan端口 port link-type ac…

想要买到心仪的旋转式孔板流量计吗?

选择旋转式孔板流量计可不能云里雾里的乱选择呀&#xff0c;煤矿对产品质量要求很严格的。所以我们要先了解产品的再决定才是对的选择。 旋转式孔板流量计技术参数【1--5--9】 规格&#xff1a;DN15&#xff5e;DN1000 孔径比(βd/D)&#xff1a;β0&#xff0e;2—0&#xff…