python远程监控服务器多个日志_python压测+paramiko远程监下载日志+js测试报告

关于压测客户端

netty nio压测端

package com.nio.test;

import io.netty.bootstrap.Bootstrap;

import io.netty.buffer.ByteBuf;

import io.netty.buffer.Unpooled;

import io.netty.channel.ChannelFuture;

import io.netty.channel.ChannelInitializer;

import io.netty.channel.ChannelOption;

import io.netty.channel.EventLoopGroup;

import io.netty.channel.nio.NioEventLoopGroup;

import io.netty.channel.socket.SocketChannel;

import io.netty.channel.socket.nio.NioSocketChannel;

import io.netty.handler.codec.http.DefaultFullHttpRequest;

import io.netty.handler.codec.http.FullHttpRequest;

import io.netty.handler.codec.http.HttpHeaders;

import io.netty.handler.codec.http.HttpMethod;

import io.netty.handler.codec.http.HttpRequestEncoder;

import io.netty.handler.codec.http.HttpResponseDecoder;

import io.netty.handler.codec.http.HttpVersion;

import java.net.URI;

import java.nio.charset.StandardCharsets;

public class HttpClient {

public void connect(String host, int port) throws Exception {

EventLoopGroup workerGroup = new NioEventLoopGroup();

try {

Bootstrap b = new Bootstrap();

b.group(workerGroup);

b.channel(NioSocketChannel.class);

b.option(ChannelOption.SO_KEEPALIVE, true);

b.handler(new ChannelInitializer() {

@Override

public void initChannel(SocketChannel ch) throws Exception {

// 客户端接收到的是httpResponse响应，所以要使用HttpResponseDecoder进行解码

ch.pipeline().addLast(new HttpResponseDecoder());

// 客户端发送的是httprequest，所以要使用HttpRequestEncoder进行编码

ch.pipeline().addLast(new HttpRequestEncoder());

ch.pipeline().addLast(new HttpClientInboundHandler());

}

});

ChannelFuture f = b.connect(host, port).sync();

URI uri = new URI("http://gc.ditu.aliyun.com:80/geocoding?a=深圳市");

String msg = "Are you ok?";

DefaultFullHttpRequest request = new DefaultFullHttpRequest(HttpVersion.HTTP_1_1, HttpMethod.GET,

uri.toASCIIString(), Unpooled.wrappedBuffer(msg.getBytes("UTF-8")));

// 构建http请求

request.headers().set(HttpHeaders.Names.HOST, host);

request.headers().set(HttpHeaders.Names.CONNECTION, HttpHeaders.Values.KEEP_ALIVE);

request.headers().set(HttpHeaders.Names.CONTENT_LENGTH, request.content().readableBytes());

// 发送http请求

f.channel().write(request);

f.channel().flush();

f.channel().closeFuture().sync();

// }

} finally {

workerGroup.shutdownGracefully();

}

}

public void connect_post(String host, int port) throws Exception {

EventLoopGroup workerGroup = new NioEventLoopGroup();

try {

Bootstrap b = new Bootstrap();

b.group(workerGroup);

b.channel(NioSocketChannel.class);

b.option(ChannelOption.SO_KEEPALIVE, true);

b.handler(new ChannelInitializer() {

@Override

public void initChannel(SocketChannel ch) throws Exception {

// 客户端接收到的是httpResponse响应，所以要使用HttpResponseDecoder进行解码

ch.pipeline().addLast(new HttpResponseDecoder());

// 客户端发送的是httprequest，所以要使用HttpRequestEncoder进行编码

ch.pipeline().addLast(new HttpRequestEncoder());

ch.pipeline().addLast(new HttpClientInboundHandler());

}

});

ChannelFuture f = b.connect(host, port).sync();

URI uri = new URI("http://gc.ditu.aliyun.com:80/geocoding?a=深圳市");

FullHttpRequest request = new DefaultFullHttpRequest(

HttpVersion.HTTP_1_1, HttpMethod.POST, uri.getRawPath());

// 构建http请求

request.headers().set(HttpHeaders.Names.HOST, host);

request.headers().set(HttpHeaders.Names.CONNECTION, HttpHeaders.Values.KEEP_ALIVE); // or HttpHeaders.Values.CLOSE

request.headers().set(HttpHeaders.Names.ACCEPT_ENCODING, HttpHeaders.Values.GZIP);

request.headers().add(HttpHeaders.Names.CONTENT_TYPE, "application/json");

ByteBuf bbuf = Unpooled.copiedBuffer("{\"jsonrpc\":\"2.0\",\"method\":\"calc.add\",\"params\":[1,2],\"id\":1}", StandardCharsets.UTF_8);

request.headers().set(HttpHeaders.Names.CONTENT_LENGTH, bbuf.readableBytes());

// 发送http请求

f.channel().write(request);

f.channel().flush();

f.channel().closeFuture().sync();

// }

} finally {

workerGroup.shutdownGracefully();

}

}

public static void main(String[] args) throws Exception {

HttpClient client = new HttpClient();

//请自行修改成服务端的IP

for(int k=0; k<1;k++){

client.connect("http://gc.ditu.aliyun.com/", 80);

System.out.println(k);

}

}

}

监听代码

package com.nio.test;

import io.netty.buffer.ByteBuf;

import io.netty.channel.ChannelHandlerContext;

import io.netty.channel.ChannelInboundHandlerAdapter;

import io.netty.handler.codec.http.HttpContent;

import io.netty.handler.codec.http.HttpHeaders;

import io.netty.handler.codec.http.HttpResponse;

public class HttpClientInboundHandler extends ChannelInboundHandlerAdapter {

@Override

public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {

System.out.print("success!~!~");

if (msg instanceof HttpResponse)

{

HttpResponse response = (HttpResponse) msg;

// System.out.println("CONTENT_TYPE:" + response.headers().get(HttpHeaders.Names.CONTENT_TYPE));

System.out.println("HTTP_CODE:" + response.getStatus());

}

if(msg instanceof HttpContent)

{

HttpContent content = (HttpContent)msg;

ByteBuf buf = content.content();

System.out.println(buf.toString(io.netty.util.CharsetUtil.UTF_8));

buf.release();

}

ctx.close();

}

}

python tornado异步框架压测

import tornado.ioloop

from tornado.httpclient import AsyncHTTPClient

def handle_request(response):

if response.error:

print ("Error:", response.error)

else:

print(response.body)

param = {"msg":"111"}

param["img_msg"] = open("t.jpg",'r',encoding='utf-8')

url = 'http://gc.ditu.aliyun.com/geocoding?a=苏州市'

i = 1

print(param)

req = tornado.httpclient.HTTPRequest(url, 'POST', body=str(param))

http_client = AsyncHTTPClient()

while i<10000:

i += 1

http_client.fetch(req, handle_request)

tornado.ioloop.IOLoop.instance().start()

python 协程压测端

#-*- coding: utf-8 -*-

import urllib.request

# url = "http://r.qzone.qq.com/cgi-bin/user/cgi_personal_card?uin=284772894"

url = "http://gc.ditu.aliyun.com/geocoding?a="+urllib.request.quote("苏州市")

HEADER = {'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8','User-Agent':'Mozilla/5.0 (Windows NT 6.1; rv:29.0) Gecko/20100101 Firefox/29.0'}

# 自定义请求的方法,get post

def f(url):

import urllib

import urllib.request

data=urllib.request.urlopen(url).read()

z_data=data.decode('UTF-8')

print(z_data)

# 我自己封装了gevent 的方法,重载了run

from gevent import Greenlet

class MyGreenlet(Greenlet):

def __init__(self, func):

Greenlet.__init__(self)

self.func = func

def _run(self):

# gevent.sleep(self.n)

self.func

count = 3

green_let = []

for i in range(0, count):

green_let.append(MyGreenlet(f(url)))

for j in range(0, count):

green_let[j].start()

for k in range(0, count):

green_let[k].join()

** 当然也可以用多线程，apache ab等，如果是大量并发可以使用netty nio压测+虚拟机的方式(其实原理差不多，协程，tornado等)**

远程监控

把此shell脚本上传到服务器

#!/bin/bash

if (( $# != 1))

then

echo "please input sum times:"

exit 1

fi

sar -u 1 $1 | sed '1,3d'|sed '$d' > sar_cpu_1.txt

sar -r 1 $1 |sed '1,3d'|sed '$d' > sar_men_1.txt

sar -b 1 $1 |sed '1,3d'|sed '$d' > sar_io_1.txt

远程上传shell脚本，执行，下载日志

import paramiko

import paramiko

server_ip = '192.168.1.1'

server_user = 'root'

server_passwd = ''

server_port = 22

ssh = paramiko.SSHClient()

def ssh_connect():

ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())

ssh.load_system_host_keys()

ssh.connect(server_ip, server_port,server_user, server_passwd)

return ssh

def client_connect():

client = paramiko.Transport((server_ip, server_port))

client.connect(username = server_user, password = server_passwd)

return client

def ssh_disconnect(client):

client.close()

def exec_cmd(command, ssh):

'''

windows客户端远程执行linux服务器上命令

'''

stdin, stdout, stderr = ssh.exec_command(command)

err = stderr.readline()

out = stdout.readline()

print(stdout.read())

def win_to_linux(localpath, remotepath,client):

'''

windows向linux服务器上传文件.

localpath 为本地文件的绝对路径。如：D: est.py

remotepath 为服务器端存放上传文件的绝对路径,而不是一个目录。如：/tmp/my_file.txt

'''

sftp = paramiko.SFTPClient.from_transport(client)

sftp.put(localpath,remotepath)

client.close()

def linux_to_win(localpath, remotepath,client):

'''

从linux服务器下载文件到本地

localpath 为本地文件的绝对路径。如：D: est.py

remotepath 为服务器端存放上传文件的绝对路径,而不是一个目录。如：/tmp/my_file.txt

'''

sftp = paramiko.SFTPClient.from_transport(client)

sftp.get(remotepath, localpath)

client.close()

class AllowAllKeys(paramiko.MissingHostKeyPolicy):

def missing_host_key(self, client, hostname, key):

return

def muit_exec_cmd(ssh,cmd):

'''

ssh ssh连接

cmd 多命名

'''

ssh.set_missing_host_key_policy(AllowAllKeys())

channel = ssh.invoke_shell()

stdin = channel.makefile('wb')

stdout = channel.makefile('rb')

stdin.write(cmd)

print(stdout.read())

stdout.close()

stdin.close()

cl = client_connect()

sh = ssh_connect()

win_to_linux("get_men_cpu.sh","/data/get_men_cpu.sh",cl)

exec_cmd("/data/get_men_cpu.sh 100",sh)

# 要和服务器那边的监控时间结束同步，可以设置下sleep时间

linux_to_win("d:/cpu.txt","/data/sar_cpu_1.txt",cl)

linux_to_win("d:/men.txt","/data/sar_men_1.txt",cl)

linux_to_win("d:/io.txt","/data/sar_io_1.txt",cl)

cl.close()

sh.close()

js分析日志文件.cpu,内存,io都是基于这样分析

用的highcharts插件，自己去学习吧

var idle= [];

var iowait = [];

var categories = [];

var temp;

$(function () {

$.get( "txt/sar_cpu.txt", function( data ) {

var resourceContent = data.toString(); // can be a global variable too...

var rc = resourceContent.split("\n");

for(var i=0; i

temp = getNotNullArr(rc[i].split(" "));

console.log(temp);

idle.push(parseFloat(temp[temp.length-1]));

categories.push(temp[0]);

iowait.push(parseFloat(temp[6]));

}

set_h_title("cpu使用情况");

set_h_sub_title("test.com");

set_h_xaxis_setp(1);

set_h_tooltip("%");

set_h_yaxis_title("cpu使用情况");

set_h_xaxis_categories(categories);

set_h_series( [{name: 'idle',data:idle}, {name: 'iowait', data: iowait}]);

highchartsinit("#container",get_h_title(),get_h_sub_title(),get_h_xaxis_setp(),get_h_xaxis_categories(),get_h_yaxis_title(),get_h_tooltip(),get_h_series());

});

});

Paste_Image.png

Paste_Image.png

Paste_Image.png

更新2015-7-15

监控各种中间件，数据库占用信息

top -u oracle>ora.txt

top -u mysql>ora.txt

更多参考

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/307101.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【源码】常用的人脸识别数据库以及上篇性别识别源码

【源码】常用的人脸识别数据库以及上篇性别识别源码

上一篇《使用ML.NET模型生成器来完成图片性别识别》发布后&#xff0c;很多朋友希望得到源码&#xff0c;这里附上地址&#xff1a;https://github.com/xin-lai/GenderRecognition常用的人脸数据库对于部分朋友说&#xff0c;找不到训练的数据&#xff0c;这里也给出部分数据&a…
阅读更多...
deb包如何改支持12系统_对一个deb包的解压、修改、重新打包全过程方法

deb包如何改支持12系统_对一个deb包的解压、修改、重新打包全过程方法

出于多种原因&#xff0c;有的时候需要直接对deb包中的各种文件内容进行修改主要有三个问题需要解决&#xff1a;0、如何将deb包文件进行解包呢&#xff1f;1、修改要修改的文件&#xff1f;2、对修改后的内容进行生成deb包&#xff1f;解包命令为#解压出包中的文件到extract目…
阅读更多...
程序员过关斩将--真的可以用版本号的方式来保证MQ消费消息的幂等性？

程序员过关斩将--真的可以用版本号的方式来保证MQ消费消息的幂等性？

灵魂拷问MQ消息的消费为什么有时候要求幂等性&#xff1f;你们都说可以用版本号来解决幂等性消费&#xff1f;什么才是消息幂等性消费的根本性问题&#xff1f;随着系统的复杂性不断增加&#xff0c;多数系统都会引入MQ来进行解耦&#xff0c;其实从引入MQ的初衷来说&#xff0…
阅读更多...
realloc函_[转载]realloc函数的使用及注意事项(转)

realloc函_[转载]realloc函数的使用及注意事项(转)

原型&#xff1a;externvoid *realloc(void *mem_address, unsigned int newsize);用法&#xff1a;#include 功能&#xff1a;改变mem_address所指内存区域的大小为newsize长度。说明&#xff1a;如果重新分配成功则返回指向被分配内存的指针&#xff0c;否则返回空指针NULL。…
阅读更多...
InfluxDB 2.0 之Flux语法篇

InfluxDB 2.0 之Flux语法篇

由于项目 IoTSharp 需要支持 InfluxDB &#xff0c; 因此进行了初步尝试&#xff0c; 虽然 Flux 语法初次学习&#xff0c; 但查询语句却似曾相识&#xff0c; 如果改一下 标点符号&#xff0c; 你会完全认为他是 C#的拉姆达表达式&#xff0c; 首先看一下写入数据:using (var…
阅读更多...
spring的钩子_spring提供的钩子，你知道哪些

spring的钩子_spring提供的钩子，你知道哪些

俗话说得好“工欲善其事必先利其器”&#xff0c;现如今springboot与springcloud已成为快速构建web应用的利器。作为一个爪洼工程师&#xff0c;知道如下的spring扩展点&#xff0c;可能会让你编写出扩展性、维护性更高的代码。spring提供的钩子&#xff0c;你知道哪些bean的生…
阅读更多...
.Net 5性能改进

.Net 5性能改进

起因在.Net Core跳过4.0,避免和先.Net Framework 4.0同名,版本号变为5.0,同时也不在叫.Net Core改为.Net 5(统一的叫法),先看看官方对.Net版本规划.本文主要是根据https://devblogs.microsoft.com/dotnet/performance-improvements-in-net-5/ 翻译而来.不完全翻译.顺序也有所调…
阅读更多...
ffmpeg库编译加文字_1.编译ffmpeg库

ffmpeg库编译加文字_1.编译ffmpeg库

1.下载ffmpeg#!/bin/bashsource"ffmpeg-4.1"if [ ! -r $source ]thencurl http://ffmpeg.org/releases/${source}.tar.bz2 | tar xj || exit 1ficurl 表示下载&#xff0c;后边跟下载的地址。tar表示解压或者压缩。 x表示解压&#xff0c;j表示是否需要解压bz2压缩包…
阅读更多...
C#中形态各异的class

C#中形态各异的class

本篇是基本知识&#xff0c;老码农请无视&#xff01;&#xff01;&#xff01;普通静态抽象密封分部修饰关键字无staticabstractsealedpartial构造函数调用时机实例化(new)时内部任意静态成员调用时子类实例化(new)时实例化(new)时实例化(new)时包含成员字段属性方法事件索引器…
阅读更多...
mysql 笛卡尔积_Mysql内连接、左连接会出现笛卡尔积的理解

mysql 笛卡尔积_Mysql内连接、左连接会出现笛卡尔积的理解

先简单解释一下笛卡尔积。 现在，我们有两个集合A和B。 A = {0,1} B = {2,3,4} 集合 AB 和 BA的结果集就可以分别表示为以下这种形式： AB = {(0，2)，(1，2)，(0，3)，(1，3)，(0，4)，(1，4)}； BA = {(2，0)，(2，1)，(3，0)，(3，1)，(4，0)，(4，1)}； 以上AB和BA的结…
阅读更多...
开放数字世界中的复杂图数据挑战 —— 以教育与开源场景为例

开放数字世界中的复杂图数据挑战 —— 以教育与开源场景为例

摘要&#xff1a;开源开放的数字世界开始成为时代的潮流&#xff0c;云原生、数据中台、智能PRA开始成为数字世界中的新一代中流砥柱。随着第四范式的普遍流行&#xff0c;各个行业中的数字化转型都会带了海量的具有无限关联的复杂图数据。本报告将以教育与开源两个场景为例&am…
阅读更多...
mysql anyvalue函数_Mysql 的ANY_VALUE()函数和 ONLY_FULL_GROUP_BY 模式

mysql anyvalue函数_Mysql 的ANY_VALUE()函数和 ONLY_FULL_GROUP_BY 模式

Mysql 的ANY_VALUE()函数和 ONLY_FULL_GROUP_BY 模式1、ONLY_FULL_GROUP_BY 引发在mysql 5.7版本以上进行一些ORDER BY 或者 GROUP BY 时&#xff0c;会出现如下错误[Err] 1055 - Expression #1 of ORDER BY clause is not in GROUP BY clause and contains nonaggregated colu…
阅读更多...
在IIS中部署SPA应用，多么痛的领悟！

在IIS中部署SPA应用，多么痛的领悟！

目前公司的Web项目是SPA应用&#xff0c;采用前后端分离开发&#xff0c;所以有时也会倒腾Vue框架。“前后端应用最终以容器形态、在k8s中部署, 为此我搭建了基于Gitlab flow的Devops流程。在Devops实践中&#xff0c;容器部署成为良方和事实标准。但是在开发和自测阶段&#x…
阅读更多...
mysql闪回工具下载_MySQL闪回工具之myflash 和 binlog2sql

mysql闪回工具下载_MySQL闪回工具之myflash 和 binlog2sql

实践利用binlog2sql查询两个binlog之间的SQL&#xff1a;必须是两个binlog日志&#xff0c;指定start-file和stop-filebinlog2sql -h127.0.0.1 -P3309 -udba -pxxxxxx -dsakila -t employee --start-filemysql-bin.000112 --stop-filemysql-bin.000113 > /tmp/db.sql利用bin…
阅读更多...
MySQL大表优化方案

MySQL大表优化方案

背景阿里云RDS FOR MySQL&#xff08;MySQL5.7版本&#xff09;数据库业务表每月新增数据量超过千万,随着数据量持续增加,我们业务出现大表慢查询,在业务高峰期主业务表的慢查询需要几十秒严重影响业务方案概述一、数据库设计及索引优化MySQL数据库本身高度灵活&#xff0c;造成…
阅读更多...
使用Azure静态Web应用部署Blazor Webassembly应用

使用Azure静态Web应用部署Blazor Webassembly应用

上一次演示了如何使用Azure静态web应用部署VUE前端项目&#xff08;使用Azure静态web应用全自动部署VUE站点&#xff09;。我们知道静态web应用支持VUE&#xff0c;react&#xff0c;angular等项目的部署。除了支持这些常见前端框架&#xff0c;静态web应用同样支持微软推出的最…
阅读更多...
mysql无法创建新用户_如何mysql禁止创建新用户

mysql无法创建新用户_如何mysql禁止创建新用户

展开全部使用户不具有e69da5e6ba9062616964757a686964616f31333337376264Create User权限或者deny Create User权限下面是权限列表mysql> show privileges \G*************************** 1. row ***************************Privilege: AlterContext: TablesComment: To al…
阅读更多...
TIOBE 11 月榜单：Python 挤掉 Java，Java的下跌趋势确立了？

TIOBE 11 月榜单：Python 挤掉 Java，Java的下跌趋势确立了？

喜欢就关注我们吧&#xff01;TIOBE 公布了 2020 年 11 月的编程语言排行榜。Python 已成功跃居榜单第二名&#xff0c;本月排名率为 12.12%&#xff1b;Java 被挤到第三位&#xff0c;排名率降至 11.68%。自有 TIOBE 榜单以来&#xff0c;C 和 Java 之前一直占据着前两名的位置…
阅读更多...
mysql mysqladmin 介绍_Mysql—mysqladmin 命令详解

mysql mysqladmin 介绍_Mysql—mysqladmin 命令详解

mysqladmin是一个执行管理操作的客户端程序。它可以用来检查服务器的配置和当前状态、创建和删除数据库等。mysqladmin工具的使用格式&#xff1a;mysqladmin [option] command [command option] command ......1.查看mysql的安装目录&#xff0c;进入mysql命令行输入&#xff…
阅读更多...
一路踩坑，被迫聊聊 C# 代码调试技巧和远程调试

一路踩坑，被迫聊聊 C# 代码调试技巧和远程调试

一&#xff1a;背景 1. 讲故事每次项目预交付的时候&#xff0c;总会遇到各种奇葩的坑&#xff0c;我觉得有必要梳理一下以及如何快速解决的&#xff0c;让后来人避避坑&#xff0c;这篇就聊聊自己的所闻所遇&#xff1a;我去&#xff0c;本地环境代码跑的哧溜&#xff0c;上了…
阅读更多...
最新文章

Copyright @ 2022~2023