使用开源工具ELK可视化 Azure NSG日志

国内的Azure最近上线了网络观察程序服务，可以帮助用户监控和分析VNET虚拟网络。其中一个很重要的功能就是可以记录NSG的安全访问日志了。但是如果用户设置了NSG流日志，并下载日志想要分析一下的话，会发现日志其实并不是很友好，NSG流日志是以json格式记录的，可以看到的内容大致如下图所示：日志会记录NSG规则名，系统时间，源地址，目的地址，源端口，目的端口，协议类型，流量方向和处理规则。

不过所有的记录都连在一起，如果要查找某个具体的安全访问记录，非常困难。

 

不过我们可以使用多个多种开源工具将相关日志数据可视化。最近正好有客户希望可以使用比较流行的ELK套件来分析NSG安全记录。在参考了微软和 Elastic.co的官方文档，以及同事的文章后，终于实现了使用ELK套件获取并分析Azure.cn的NSG日志，特此记录一下过程和注意事项。

简单介绍一下ELK，ELK是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故此简称ELK。它具有如下几个优点：

  • 处理方式灵活。Elasticsearch 是实时全文索引，不需要预先编程才能使用；
  • 配置简易上手。Elasticsearch 全部采用 JSON 接口，Logstash 是 Ruby DSL 设计，都是目前业界最通用的配置语法设计；
  • 检索性能高效。虽然每次查询都是实时计算，但是优秀的设计和实现基本可以达到全天数据查询的秒级响应；
  • 集群线性扩展。不管是 Elasticsearch 集群还是 Logstash 集群都是可以线性扩展的；
  • 前端操作炫丽。Kibana 界面上，只需要点击鼠标，就可以完成搜索、聚合功能，生成炫丽的仪表板。

 

要部署ELK，我们现在Azure上部署一台Centos 7.X的虚机，并把这台虚机的NSG作为日志来源。

通过以下步骤开启NSG流日志：

 在Azure的服务里找到“网络观察程序”服务。

 

在网络观察程序里，选中NSG流日志：

 

在右侧用资源组过滤，找到需要分析的NSG。

选中NSG，开启NSG流日志，指定日志存放的存储账号和日志保留时间。

 

完成了Azure NSG流日志的设置，我们就可以开始安装部署ELK，来获取数据并进行分析了。

 

1、通过SSH登录到刚才建立的Centos虚机。先安装Java运行环境：

 yum install java-1.8.0-openjdk

 

2、下载可信签名证书：

 rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

 

3、创建 Elasticsearch 的yum repo文件

 vi /etc/yum.repos.d/elasticsearch.repo

 输入以下内容

 [elasticsearch-6.x]

name=Elasticsearch repository for 6.x packages

baseurl=https://artifacts.elastic.co/packages/6.x/yum

gpgcheck=1

gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch

enabled=1

autorefresh=1

type=rpm-md

 

4、安装Elasticsearch包

 yum install elasticsearch

 

5、修改配置参数，允许外部访问

 vi /etc/elasticsearch/ elasticsearch.yml

 

找到network.host参数，设置为0.0.0.0

# Set the bind address to a specific IP (IPv4 or IPv6):

#

network.host: 0.0.0.0

#

# Set a custom port for HTTP:

#

http.port: 9200

#

 

6、启动Elasticsearch并设置系统启动

 systemctl enable elasticsearch.service

 systemctl start elasticsearch.service 

 

7、创建 Logstash的yum repo文件

 vi /etc/yum.repos.d/logstash.repo

 

输入以下内容

 [logstash-5.x]

name=Elastic repository for 5.x packages

baseurl=https://artifacts.elastic.co/packages/5.x/yum

gpgcheck=1

gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch

enabled=1

autorefresh=1

type=rpm-md

 

8、安装Logstash包

 yum install logstash

 

9、安装读取Azure Blob存储的插件

 /usr/share/logstash/bin/logstash-plugin install logstash-input-azureblob

 

10、设置存储读取位置为Azure.cn，默认是读取WW的Azure

 vi /usr/share/logstash/vendor/bundle/jruby/2.3.0/gems/logstash-input-azureblob-0.9.12-java/lib/logstash/inputs/azureblob.rb

 

找到以下内容

config :endpoint, :validate => :string, :default => 'core.windows.net'

 将endpoint修改为中国Azure的endpoint：core.chinacloudapi.cn

config :endpoint, :validate => :string, :default => 'core.chinacloudapi.cn'

 

11、创建Logstash的配置文件

 在Azure门户中中找到所使用存储账号的访问密钥

 

 

vi /etc/logstash/conf.d/logstash.conf

输入以下内容

 input {

azureblob

  {

      storage_account_name => "此处更改为NSG流日志所使用的存储账户"

      storage_access_key => "此处更改为存储账户的访问密钥"

      container => "insights-logs-networksecuritygroupflowevent"

      codec => "json"

      # Refer https://docs.microsoft.com/en-us/azure/network-watcher/network-watcher-read-nsg-flow-logs

      # Typical numbers could be 21/9 or 12/2 depends on the nsg log file types

      file_head_bytes => 12

      file_tail_bytes => 2

      # Enable / tweak these settings when event is too big for codec to handle.

      # break_json_down_policy => "with_head_tail"

      # break_json_batch_count => 2

  }

}

 

filter {

  split { field => "[records]" }

  split { field => "[records][properties][flows]"}

  split { field => "[records][properties][flows][flows]"}

  split { field => "[records][properties][flows][flows][flowTuples]"}

 

mutate{

split => { "[records][resourceId]" => "/"}

add_field => {"Subscription" => "%{[records][resourceId][2]}"

              "ResourceGroup" => "%{[records][resourceId][4]}"

              "NetworkSecurityGroup" => "%{[records][resourceId][8]}"}

convert => {"Subscription" => "string"}

convert => {"ResourceGroup" => "string"}

convert => {"NetworkSecurityGroup" => "string"}

split => { "[records][properties][flows][flows][flowTuples]" => ","}

add_field => {

            "unixtimestamp" => "%{[records][properties][flows][flows][flowTuples][0]}"

            "srcIp" => "%{[records][properties][flows][flows][flowTuples][1]}"

            "destIp" => "%{[records][properties][flows][flows][flowTuples][2]}"

            "srcPort" => "%{[records][properties][flows][flows][flowTuples][3]}"

            "destPort" => "%{[records][properties][flows][flows][flowTuples][4]}"

            "protocol" => "%{[records][properties][flows][flows][flowTuples][5]}"

            "trafficflow" => "%{[records][properties][flows][flows][flowTuples][6]}"

            "traffic" => "%{[records][properties][flows][flows][flowTuples][7]}"

             }

convert => {"unixtimestamp" => "integer"}

convert => {"srcPort" => "integer"}

convert => {"destPort" => "integer"}       

}

 

date{

 match => ["unixtimestamp" , "UNIX"]

}

}

output {

stdout { codec => rubydebug }

elasticsearch {

 hosts => "localhost"

 index => "nsg-flow-logs"

}

}

 

12、启动Logstash并设置系统启动

 systemctl enable logstash.service

 systemctl start logstash.service

 

13、创建 Kibana的yum repo文件

 vi /etc/yum.repos.d/kibana.repo

 

输入以下内容

 [kibana-4.5]

name=Kibana repository for 4.5.x packages

baseurl=http://packages.elastic.co/kibana/4.5/centos

gpgcheck=1

gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch

enabled=1

 

14、安装Kibana包

 yum install kibana

 

15、设置Kibana参数，允许外部访问

 vi /etc/kibana/kibana.yml

 

找到以下server.host参数，修改为0.0.0.0

 # Specifies the address to which the Kibana server will bind. IP addresses and host names are both valid values.

# The default is 'localhost', which usually means remote machines will not be able to connect.

# To allow connections from remote users, set this parameter to a non-loopback address.

server.host: "0.0.0.0"

 

16、启动Kibana并设置系统启动

 systemctl enable kibana.service

 systemctl start kibana.service

 

17、检查ELK服务状态

 systemctl status elasticsearch

 

systemctl status logstash

 

systemctl status kibana

 

 

18、设置虚机的NSG策略，允许外部访问kibana门户

 

 

 19、登录Kibana门户

 http://hospip:5601

 

 

 20、设置state:storeInSessionStorage参数

 在“Management”选项卡下的 Advanced Setting里找到state:storeInSessionStorage参数，并enable

 

 

 21、在“Management”选项卡下，通过“Index Patterns” 创建索引。

 

 

 22、微软已经很贴心的为大家准备了示例的Dashboard，可以直接导入，以后大家还可以按照自己的需要设计

在此处下载仪表板文件，在此处下载可视化效果文件。

在 Kibana 的“Management”选项卡下，通过“Saved Objects”导入文件。 然后,可从“Dashboard”选项卡打开并加载示例Dashboard。

 

 

 进入Dashboard就可以查看当前设置的一些示例报表

 

在Dashboard的右上角可以设置日志分析的时间段，可以帮助用户迅速定位到需要分析的时间点

 

 

 

最后感谢康老师的支持。他的文档给了我很大帮助。

康老师的博客地址：https://www.azure.cn/blog/2017/12/27/AZURE-NSG-FLOW-LOG-Analysis/

Azure官方配置文档说明：https://docs.microsoft.com/zh-cn/azure/network-watcher/network-watcher-visualize-nsg-flow-logs-open-source-tools

如果需要搭建ELK集群服务，可以参考此文档：https://docs.azure.cn/zh-cn/articles/training/open-source-azure-virtual-machines-create-elk-cluster

ELK官方文档：https://www.elastic.co/guide/index.html

Azure存储插件的说明：https://github.com/Azure/azure-diagnostics-tools/tree/master/Logstash/logstash-input-azureblob

 

当然用户也可以使用PowerBI服务来分析NSG的流日志，这样就可以不用自己安装和部署了。文档位置：https://docs.microsoft.com/zh-cn/azure/network-watcher/network-watcher-visualize-nsg-flow-logs-power-bi

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/438843.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

pythoncad二次开发视频_AutoCAD ObjectARX 二次开发（2020版）--4,使用ARX向导创建CAD二次开发项目（编程框架）--...

pythoncad二次开发视频_AutoCAD ObjectARX 二次开发（2020版）--4,使用ARX向导创建CAD二次开发项目（编程框架）--...

手动创建ObjectARX应用程序非常麻烦，在此步骤中，将介绍ObjectARX向导。在这里，我们将使用ObjectARX向导创建我们的ObjectARX应用程序。本节的程序的需求是，接收CAD用户的输入。首先，打开VS2017，新建项目在左…
阅读更多...
Azure Data Explorer(Kusto)学习笔记

Azure Data Explorer(Kusto)学习笔记

Azure Data Explorer 指南 Azure在2018年推出了Data Explorer产品，提供实时海量流数据的分析服务（非流计算），面向应用、网站、移动端等设备。 用户可以查询，并交互式地对结果进行分析，以达到提升产品、增…
阅读更多...
python将一列数据转换成向量_python读取csv和txt数据转换成向量的实例

python将一列数据转换成向量_python读取csv和txt数据转换成向量的实例

最近写程序需要从文件中读取数据，并把读取的数据转换成向量。查阅资料之后找到了读取csv文件和txt文件两种方式，下面结合自己的实验过程，做简要记录，供大家参考：1、读取csv文件的数据import csvfiltpath "data_t…
阅读更多...
Iaas,Paas,Saas三者的区别联系是什么？

Iaas,Paas,Saas三者的区别联系是什么？

本词条由“科普中国”科学百科词条编写与应用工作项目 审核 。 多租户技术（英语：multi-tenancy technology）或称多重租赁技术，是一种软件架构技术，它是在探讨与实现如何于多用户的环境下共用相同的系统或程序组件&…
阅读更多...
什么是ASP.NET Boilerplate Project（ABP）框架

什么是ASP.NET Boilerplate Project（ABP）框架

使用.NET技术进行开发已经多年，偶尔一次网络上搜索.NET开发框架，看到了ABP这个框架，引起了我极大的兴趣，于是决定对该框架进行深入学习和研究，并将过程全部记录如下，对自己也是一次学习和总结，同…
阅读更多...
使用ABP打造SAAS系统（2）——前端框架选择

使用ABP打造SAAS系统（2）——前端框架选择

一、流行框架比较 作者用过的前端框架不少，曾经还在一个项目中同时使用两套框架控件（年少无知、效率特慢），所以可供选择的前端框架有不少： easyui： 优点：非常成熟的框架，基于iframe…
阅读更多...
java 一元线性回归_一元线性回归的java实现

java 一元线性回归_一元线性回归的java实现

我们有两组数据，比如连续5年的pv与uv。我们想预测一下，uv达到500k那么pv会是多少。当然更有意思可能是，如果销售额是500w的话，pv会是多少。机器学习里的一元线性回归方法是比较简单的方法,就是我们猜是满足ywxb的。那么&#xff0…
阅读更多...
Docker核心组件的关系

Docker核心组件的关系

阅读更多...
【转】ELK是什么能做什么怎么做

【转】ELK是什么能做什么怎么做

作者：蛙课网 链接：https://www.zhihu.com/question/338932215/answer/777380560 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 为什么用到ELK： 一般我们需要进行日志分析场景&…
阅读更多...
java中的并发类_java中并发常用工具类

java中的并发类_java中并发常用工具类

前言:在你无聊的时候,想想比你优秀还努力的人,也许就不觉的无聊了今天下午没事干把买的java并发编程艺术这本书拿出来看了看,看了下也记不住,还是好记性不如烂笔头,今天讲四个并发中可能会用到的工具类,分别是：CountDownLatchCyclicBarrierSemaphoreExchangerCountD…
阅读更多...
github迁移到gitee相关问题

github迁移到gitee相关问题

为什么要从github迁移到gitee（国内github版）？ 1. github对于国人来讲，速度较慢。例如： 浏览个技术文档点击个链接半天跳不过去pull、push、clone个代码太慢个人版（免费版）没有私人仓库&#xf…
阅读更多...
【转】abp vNext微服务框架分析

【转】abp vNext微服务框架分析

abp vNext新框架的热度一直都很高，于是最近上手将vNext的微服务Demo做了一番研究。我的体验是，vNext的微服务架构确实比较成熟，但是十分难以上手，对于没有微服务开发经验的.net人员来说几乎是看不懂的，所以研究一番后再…
阅读更多...
SQL SERVER data tier application 的作用及如何使用SSDT进行SQL数据库的自动化部署到生产环境和版本控制

SQL SERVER data tier application 的作用及如何使用SSDT进行SQL数据库的自动化部署到生产环境和版本控制

这个是管理员用来发布数据库所有的脚本用的，自SQL2008以后，微软开始将数据库的开发整合到VS2010上，用户可以将数据所有的相关对象打包成一个DAC包，让管理通过extract data-tier application发布到服务器上。就好像你把代码变成dll…
阅读更多...
bitcount java_Java.math.BigInteger.bitCount()方法实例

bitcount java_Java.math.BigInteger.bitCount()方法实例

全屏Java.math.BigInteger.bitCount()方法实例java.math.BigInteger.bitCount()返回此BigInteger的二进制补码表示的位，从它的符号位不同的数字。实现位向量样式集上BigIntegers的时候，此方法很有用。声明以下是java.math.BigInteger.bitCount()方法的声…
阅读更多...
php 和jsp,jsp和php哪个好？jsp和php的简单比较

php 和jsp,jsp和php哪个好？jsp和php的简单比较

jsp和php这两个Web开发技术哪个好？这个问题应该会有很多人问，但是每种开发技术都有各自的优缺点，所谓的哪个好，不过是看你更擅长使用哪一种技术，所以今天我们来对比一下jsp和php，介绍jsp和php之间有什么区别…
阅读更多...
【转】SharePoint 2010 Search Service -- 管理中心配置

【转】SharePoint 2010 Search Service -- 管理中心配置

今天配置了一下SharePoint Search，怕忘，赶紧记下来。 我参考了国外的一篇文章：Search Configuration in SharePoint 2010 首先，要查看以下User Profile Service, User Profile Synchronization Service是否运行正常，然…
阅读更多...
【转】SharePoint 2013中修改windows 活动目录(AD)域用户密码的WebPart（免费下载）

【转】SharePoint 2013中修改windows 活动目录(AD)域用户密码的WebPart（免费下载）

前段时间工作很忙，好久没更新博客了，趁国庆休假期间，整理了两个之前积累很实用的企业集成组件，并在真正的大型项目中经受住了考验：.Net版SAP RFC适配器组件和SharePoint 2013修改AD域用户密码的WebPart。目前无法在网上…
阅读更多...
php base64尺寸,PHP base64编码的图像显示不正确

php base64尺寸,PHP base64编码的图像显示不正确

我试图使用base64编码将图像(任何大小)发送到我创建的API。编码后的字符串会作为URL中的参数访问我的API。使用PHP构建的API。PHP base64编码的图像显示不正确一旦请求命中我的API，我想将图像存储到我的服务器上，并将文件名保存在数据库中。这是工作&…
阅读更多...
Windows电脑SMB共享设置方法

Windows电脑SMB共享设置方法

SMB简介： SMB（Server Message Block）(*nix平台和Win NT4.0又称CIFS)协议是Windows平台标准文件共享协议，Linux平台通过samba来支持。SMB最新版本v3.0，在v2.0基础上针对WAN和分布式有改进。 建议使用原版wind…
阅读更多...
php个人扫码支付,PHP个人发卡网源码，支持MA支付对接，扫码自动发货

php个人扫码支付,PHP个人发卡网源码，支持MA支付对接，扫码自动发货

PHP个人发卡网源码，支持MA支付对接，扫码自动发货。源码介绍个人发卡网源码，支持码支付对接，扫码自动发货.自适应网页，可为商品设置优惠套餐，后台管理功能丰富。前台发卡页面有点粗糙，已开源的可…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023