network-tools
介绍
network-tools基于sun jdk、Oracle jdk开发，拦截基于java socket请求，它包括
-
http 客户端
-
jdbc 客户端
-
mq 客户端
-
redis 客户端
目前提供如下功能：
-
最近端点连接情况
-
最近与远程端点连接情况（可用于防火墙端口开通）
-
最近连接情况
-
最近错误连接情况
-
最近最耗时的连接情况
-
最近连接最频繁远程端点情况
其他更复杂的逻辑可查询influxdb库中的t_connect表（_measurement ）。
软件架构
系统架构
JVM：sun/oracle jdk
network-agent：收集socket连接情况，目前使用有界队列
network-aep：接收所有network-agent信息，存储到influxdb库
influxdb：时序数据库、支持快速分析、查询
influxdb-console：一个web应用，安装influxdb时自带，用于维护influxdb。
客户端：一般指人，可访问控制台可有限的web API，也可指业务服务器，业务根据自身需求对接API。
存储模型
_measurement：t_connect 存储socket连接（失败和成功）
time：连接结束时间
local_ip： 本地IP （连接失败则不能获取，选择127.0.0.1）
local_port: 本地端口（连接失败则不能获取，选择0）
remote_ip 远程IP
remote_port 远程端口
cost: 连接耗时，单位毫秒
success： 0代表失败、1代表连接成功
stack: 不报错则显示连接时的代码堆栈，报错则显示异常堆栈。
安装教程
源码目录https://gitee.com/jiangc2020/network-tools
1、根据情况选择windows、linux版本，influxdb下载安装参考https://docs.influxdata.com/influxdb/v2/install，需要注意的是http-bind-address配置IP或端口，后续将使用http://localhost:8086打开控制台
2、获取network-agent
源码打包：执行network-agent/pom.xml的 mvn clean package，最终生成target/network-agent-jar-with-dependencies.jar
3、获取network-aep
源码打包：执行network-aep/pom.xml的 mvn clean package，最终生成target/aep目录
4、安装network-agent
在需要监控的JVM启动脚本中添加类似
-javaagent:/home/user/nstcapp/bems/network-agent-jar-with-dependencies.jar=http://localhost:8084/hello，其中192.168.61.142:8084为network-aep地址。一般一个JVM应用要配置对应的应用名称，则使用分号追加，如此时应用是bac,则为：
http://localhost:8084/hello;bac
JVM启动后连接数据将推送至network-aep
5、启动network-aep
修改config/application.properties文件
server.port = 8084
#spring.jpa.show-sql=true
spring.http.encoding.charset=UTF-8
spring.application.name=network-aep#按influx配置修改
influx.org=n
influx.bucket=test3
influx.token=owaq3la2CsQYXbxetm4yz3i-DVQUP8LNQEnX-7D5mcpH4dpTzsfCnKgdXixftrXqq4PdK3hraBSwFC9f-xqBDw==
influx.url=http://localhost:8086#端口映射文件
port.file=D:/jeecg-boot/ports.csv
其中port.csv文件格式如下：
在getConnectRelations和getRemoteConnectRelations接口中返回的列表中的每个元素是一个如下格式的数组，
["test","127.0.0.1","127.0.0.1","58769",""]
其中"test"为本地appName，在应用启动脚本中指定，用“;”分割的后一部分，若不配置默认为“test”，如下
请注意，若配置了ports.csv，则有5个元素，否则只有4个；而如果配置了ports.csv但内容中不含糊第二、三个元素指定的KEY，图中为127.0.0.1,58769,在port文件中找不到则为空字符串。
进入aep目录，执行java -jar network-aep-0.0.1-SNAPSHOT.jar
使用说明
1、在浏览器中通过aep web端口http://localhost:8084提供服务一下
getTop?top=100 #获取最近100个连接情况
getTopCostConnects?h=5&top=10 #获取最近5小时内最耗时的10个连接情况
getTopCountRemoteEndpoints?h=5&top=10 #获取最近5小时内连接最多的远程端点情况
getConnectRelations?d=1 #获取所有连接情况
getRemoteConnectRelations?d=1 #获取所有连接情况（排除127.0.0.1）
getTopErrConnects?h=5&top=10 #获取最近5个小时最近10个错误连接情况
2、在浏览器中打开influxdb控制台http://localhost:8086/，登录后定位到notebook，编写flux script
查询近4天失败连接情况，具体语法参考官方文档https://docs.influxdata.com/flux/v0/stdlib/
import "strings"
from(bucket:"test3") |> range(start:-4d) |> filter(fn:(r)=> r._measurement == "t_connect" )
|> pivot(rowKey: ["_time"], columnKey: ["_field"], valueColumn: "_value") |> group()
|> filter(fn:(r)=> r.success == 0 )
|> sort(columns: ["_time"], desc: true)
参与贡献
- Fork 本仓库
- 新建 Feat_xxx 分支
- 提交代码
- 新建 Pull Request
特技
- 使用 Readme_XXX.md 来支持不同的语言，例如 Readme_en.md, Readme_zh.md
- Gitee 官方博客 blog.gitee.com
- 你可以 https://gitee.com/explore 这个地址来了解 Gitee 上的优秀开源项目
- GVP 全称是 Gitee 最有价值开源项目，是综合评定出的优秀开源项目
- Gitee 官方提供的使用手册 https://gitee.com/help
- Gitee 封面人物是一档用来展示 Gitee 会员风采的栏目 https://gitee.com/gitee-stars/
官方提供的使用手册 https://gitee.com/help - Gitee 封面人物是一档用来展示 Gitee 会员风采的栏目 https://gitee.com/gitee-stars/
