Docker监控方案(TIG)的研究与实践之Influxdb

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

前言：

Influxdb也是有influxdata公司(www.influxdata.com )开发的用于数据存储的时间序列数据库.可用于数据的时间排列。在整个TIG(Telegraf+influxdb+grafana)方案中，influxdb可算作一个中间件，主要负责原始数据的存储，并按照时间序列进行索引构建以提供时间序列查询接口。在整个TIG方案中，应该先构建的就是Influxdb。

Influxdb研究与实践：

influxdb介绍：

使用TSM(Time Structured Merge)存储引擎，允许高摄取速度和数据压缩； 
使用go编写，无需其他依赖； 
简单，高性能写查询httpAPI接口； 
支持其他数据获取协议的插件，比如graphite,collected,OpenTSDB； 
使用relay构建高可用https://docs.influxdata.com/influxdb/v1.0/high_availability/relay/；
扩展的类sql语言，很容易查询汇总数据； 
tag的支持，可用让查询变的更加高效和快速； 
保留策略有效地自动淘汰过期的数据； 
持续所产生的自动计算的数据会使得频繁的查询更加高效； 
web管理页面的支持

下载安装：

github：https://github.com/influxdata/influxdb 源码编译 
官网下载： 
Centos系列：wgethttps://dl.influxdata.com/influxdb/releases/influxdb-1.0.0.x86_64.rpm && sudo yum localinstall influxdb-1.0.0.x86_64.rpm 
源码包系列：wgethttps://dl.influxdata.com/influxdb/releases/influxdb-1.0.0_linux_amd64.tar.gz && tar xvfz influxdb-1.0.0_linux_amd64.tar.gz 
docker系列：docker pull influxdb 
安装手册：https://docs.influxdata.com/influxdb/v0.9/introduction/installation/

配置：

#cat /etc/influxdb/influxdb.conf
reporting-disabled = false
[registration]
[meta]
dir = "/var/lib/influxdb/meta"
hostname = "10.0.0.2"    #此hostname必须写本机，否则无法连接到数据操作的API
bind-address = ":8088"
retention-autocreate = true
election-timeout = "1s"
heartbeat-timeout = "1s"
leader-lease-timeout = "500ms"
commit-timeout = "50ms"
cluster-tracing = false
[data]
dir = "/var/lib/influxdb/data"
max-wal-size = 104857600 # Maximum size the WAL can reach before a flush. Defaults to 100MB.
wal-flush-interval = "10m" # Maximum time data can sit in WAL before a flush.
wal-partition-flush-delay = "2s" # The delay time between each WAL partition being flushed.
wal-dir = "/var/lib/influxdb/wal"
wal-logging-enabled = true
[hinted-handoff]
enabled = true
dir = "/var/lib/influxdb/hh"
max-size = 1073741824
max-age = "168h"
retry-rate-limit = 0
retry-interval = "1s"
retry-max-interval = "1m"
purge-interval = "1h"
[admin]
enabled = true
bind-address = ":8083"
https-enabled = false
https-certificate = "/etc/ssl/influxdb.pem"
[http]
enabled = true
bind-address = ":8086"
auth-enabled = false
log-enabled = true
write-tracing = false
pprof-enabled = false
https-enabled = false
https-certificate = "/etc/ssl/influxdb.pem"
[opentsdb]
enabled = false
[collectd]
enabled = false

注意：influxdb服务会启动三个端口：8086为服务的默认数据处理端口，主要用来influxdb数据库的相关操作，可提供相关的API；8083为管理员提供了一个可视化的web界面，用来为用户提供友好的可视化查询与数据管理；8088主要为了元数据的管理。需要注意的是，influxdb默认是需要influxdb用户启动，且数据存放在/var/lib/influxdb/下面，生产环境需要注意这个。

启动：

和telegraf启动方式一样，可以使用init.d或者systemd进行管理influxdb 
注意，启动之后需要查看相关的端口是否正在监听，并检查日志确保服务正常启动

使用：

如果说使用telegraf最核心的部分在配置，那么influxdb最核心的就是SQL语言的使用了。influxdb默认支持三种操作方式： 
登录influxdb的shell中操作:

创建数据库：
create database mydb
创建用户：
create user "bigdata" with password 'bigdata' with all privileges
查看数据库：
show databases;
数据插入：
insert bigdata,host=server001,regin=HC load=88
切换数据库：use mydb
查看数据库中有哪些measurement(类似数据库中的表):
show measurements
查询：
select * from cpu limit 2
查询一小时前开始到现在结束的：
#select load from cpu where time > now() - 1h
查询从历史纪元开始到1000天之间：
#select load from cpu where time < now() + 1000d
查找一个时间区间：
#select load from cpu where time > '2016-08-18' and time < '2016-09-19'
查询一个小时间区间的数据，比如在September 18, 2016 21:24:00:后的6分钟：
#select load from cpu where time > '2016-09-18T21:24:00Z' +6m
使用正则查询所有measurement的数据：
#select * from /.*/ limit 1
#select * from /^docker/ limit 3
#select * from /.*mem.*/ limit 3
正则匹配加指定tag：（=~ !~）
#select * from cpu where "host" !~ /.*HC.*/ limit 4
#SELECT * FROM "h2o_feet" WHERE ("location" =~ /.*y.*/ OR "location" =~ /.*m.*/) AND "water_level" > 0 LIMIT 4
排序：group by的用法必须得是在复合函数中进行使用
#select count(type) from events group by time(10s)
#select count(type) from events group by time(10s),type
给查询字段做tag：
#select count(type) as number_of_types group by time(10m)
#select count(type) from events group by time(1h) where time > now() - 3h
使用fill字段：
#select count(type) from events group by time(1h) fill(0)/fill(-1)/fill(null) where time > now() - 3h
数据聚合：
select count(type) from user_events merge admin_events group by time(10m)

使用API进行操作数据:

创建数据库:
curl -G "http://localhost:8086/query" --data-urlencode "q=create database mydb"
插入数据：
curl -XPOST 'http://localhost:8086/write?db=mydb' -d 'biaoge,name=xxbandy,xingqu=coding age=2'
curl -i -XPOST 'http://localhost:8086/write?db=mydb' --data-binary 'cpu_load_short,host=server01,region=us-west value=0.64 1434055562000000000'
curl -i -XPOST 'http://localhost:8086/write?db=mydb' --data-binary 'cpu_load_short,host=server02 value=0.67
cpu_load_short,host=server02,region=us-west value=0.55 1422568543702900257
cpu_load_short,direction=in,host=server01,region=us-west value=2.0 1422568543702900257'
将sql语句写入文件，并通过api插入：
#cat sql.txt
cpu_load_short,host=server02 value=0.67
cpu_load_short,host=server02,region=us-west value=0.55 1422568543702900257
cpu_load_short,direction=in,host=server01,region=us-west value=2.0 1422568543702900257
#curl -i -XPOST 'http://localhost:8086/write?db=mydb' --data-binary @cpu_data.txt查询数据：（--data-urlencode "epoch=s" 指定时间序列 "chunk_size=20000" 指定查询块大小）
# curl -G http://localhost:8086/query?pretty=true --data-urlencode "db=ydb" --data-urlencode "q=select * from biaoge where xingqu='coding'"
数据分析：
#curl -G http://localhost:8086/query?pretty=true --data-urlencode "db=mydb" --data-urlencode "q=select mean(load) from cpu"
#curl -G http://localhost:8086/query?pretty=true --data-urlencode "db=mydb" --data-urlencode "q=select load from cpu"
可以看到load的值分别是42 78 15.4；用mean(load)求出来的值为45,13
curl -G http://localhost:8086/query?pretty=true --data-urlencode "db=ydb" --data-urlencode "q=select mean(load) from cpu where host='server01'"

使用influxdb提供的web界面进行操作:

这里只是简单的介绍了influxdb的使用，后期如果想在grafana中汇聚并完美地展示数据，可能需要熟悉influxdb的各种查询语法。(其实就是sql语句的一些使用技巧，聚合函数的使用，子查询等等)

 

注意：原创著作，转载请联系作者！

转载于:https://my.oschina.net/xxbAndy/blog/751329

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/397625.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

iOS-生成随机数

iOS-生成随机数

有时候我们需要在程序中生成随机数&#xff0c;但是在Objective-c中并没有提供相应的函数&#xff0c;好在C中提供了rand()、srand()、random()、arc4random()几个函数。那么怎么使用呢&#xff1f;下面将简单介绍&#xff1a; 1、 获取一个随机整数范围在&#xff1a;[0,100)…
阅读更多...
剑指offer 面试32题

剑指offer 面试32题

面试32题&#xff1a; 题目&#xff1a;从上到下打印二叉树 题&#xff1a;不分行从上到下打印二叉树 解题代码&#xff1a; # -*- coding:utf-8 -*- # class TreeNode: # def __init__(self, x): # self.val x # self.left None # self.right …
阅读更多...
crc算法java_c语言的crc16算法转java

crc算法java_c语言的crc16算法转java

一、c语言uint16_t crc_chk(uint8_t *data, uint8_t len){uint8_t i;uint16_t reg_crc 0xffff;while(len--) {reg_crc ^ *data;for(i 0; i < 8; i) {if(reg_crc & 0x01) {reg_crc (reg_crc >> 1) ^ 0xA001;} else {reg_crc reg_crc >> 1;}}}return reg_…
阅读更多...
Java第三阶段学习（三、字符流、转换流）

Java第三阶段学习（三、字符流、转换流）

一、字节流读取中文时出现的问题&#xff1a; 文件中有中文时&#xff0c;用字节流读取会出现乱码的问题&#xff0c;因为一个中文为两个字节。 二、字符编码表 编码表&#xff1a;其实就是生活中字符和计算机二进制的对应关系表。 1、ascii&#xff1a; 一个字节中的7位就可以…
阅读更多...
windows下OpenSSL加密证书安装步骤与使用方法

windows下OpenSSL加密证书安装步骤与使用方法

OpenSSL加密证书一般用于签名认证&#xff0c;含私钥和公钥。在Linux系统中&#xff0c;OpenSSL一般是已经安装好了&#xff0c;可以直接使用。而在Windows系统中&#xff0c;是需要安装使用的。 最近在使用支付平台时&#xff0c;用到了OpenSSL&#xff0c;鉴于此分享给大家&a…
阅读更多...
linux运维（五）

linux运维（五）

头有点大&#xff0c;也浪费了一些时间。明天过后缓冲一下1、存储过程与触发器的区别&#xff1f;答&#xff1a;&#xff08;1&#xff09;触发器主要是通过事件执行触发而被执行的&#xff0c;而存储过程可以通过存储过程名称而直接调用。&#xff08;call/execute&#xff0…
阅读更多...
django web 自定义通用权限控制

django web 自定义通用权限控制

需求&#xff1a;web系统有包含以下5个url&#xff0c;分别对于不同资源&#xff1b; 1、stu/add_stu/ 2、stu/upload_homework/ 3、stu/query_homework/ 4、stu/add_record/ ----------------------------------------------------------------------------------------------…
阅读更多...
java源码影视源码搭建教程_新版千月影视app源码+搭建教程

java源码影视源码搭建教程_新版千月影视app源码+搭建教程

使用notepad批量替换URL【http://】为你的域名(被替换的域名访问有成品不能发布 需要修改的到前台confing里面查询)&#xff0c;替换名称【鲸鹰影视】为你的应用名称&#xff1b;服务端&#xff1a;1.将替换好的后端源码打包上传至站点根目录后解压&#xff1b;2.配置网站伪静态…
阅读更多...
git学习相关的博客地址

git学习相关的博客地址

Git分支管理策略&#xff1a; http://www.ruanyifeng.com/blog/2012/07/git.html Git 使用规范流程&#xff1a; http://www.ruanyifeng.com/blog/2015/08/git-use-process.html 基于git的源代码管理模型——git flow&#xff1a; http://www.ituring.com.cn/article/56870 Git…
阅读更多...
Django框架基础学习

Django框架基础学习

Django安装python下载地址 http://www.python.org/download/releases/3.3.4/Django的下载地址&#xff1a;https://www.djangoproject.com/download/1&#xff09;安装&#xff08;进到解压目录&#xff09;python setup.py install2、配置环境变量&#xff08;PATH&#xff09…
阅读更多...
Uboot USB模式(RK3288变砖头的解决办法)

Uboot USB模式(RK3288变砖头的解决办法)

RK3288启动后有三种模式&#xff0c;可以分别进行操作。 第一种是normal也就是正常的启动模式。这个模式无法刷固件。一般板子通电就是这个模式 第二种是loader模式。就是刷固件模式。这个模式可以刷各种image。按住recover按键再通电&#xff0c;通过uboot的检测进入这个模式 …
阅读更多...
java邮件实例_java邮件小实例

java邮件实例_java邮件小实例

新建一个包&#xff0c;名为mail第一个类&#xff1a;MailSenderInfo.java###########################################package com.util.mail;/*** 发送邮件需要使用的基本信息*author by wangfunhttp://www.5a520.cn 小说520*/import java.util.Properties;public class Mai…
阅读更多...
DEV GridView嵌套

DEV GridView嵌套

/// <summary> /// 绑定主表和明显表到GridView /// </summary> /// <param name"machineProduct">主表</param> /// <param name"configureData">字表</param> private void Mas…
阅读更多...
局域网大型文件分发的可能解决方案

局域网大型文件分发的可能解决方案

客户原来的做法是把文件上传到服务器&#xff0c;然后后形成一个普通的HTTP地址下入网站后台系统&#xff0c;然后客户端用户看到后&#xff0c;则下载下来。但是随着文件越来越大&#xff0c;客户端下载量增加&#xff0c;在局域内网环境中这种文件分发方式的弊端立现。服务器…
阅读更多...
android——获取ImageView上面显示的图片bitmap对象

android——获取ImageView上面显示的图片bitmap对象

获取的函数方法为&#xff1a;Bitmap bitmapimageView.getDrawingCache(); 但是如果只是这样写我们得到的bitmap对象可能为null值&#xff0c;正确的方式为&#xff1a; imageView.setDrawingCacheEnabled(true);Bitmap bitmapimageView.getDrawingCache();imageView.setDrawin…
阅读更多...
java监听com口_简单了解Java接口+事件监听机制

java监听com口_简单了解Java接口+事件监听机制

1.接口&#xff1a;定义方法&#xff1a;public interface interName //extends interName2, interName3...可继承多个接口在接口里只能定义常量和抽象方法。public static final String Name;public abstract void method(String Name);//这里不能用大括号&#xff0c;不然就不…
阅读更多...
例子：好友列表选中效果

例子：好友列表选中效果

<style type"text/css"> *{ margin:0px auto; padding:0px; font-family:微软雅黑; font-size:16px;} .f{ width:200px; height:30px; background-color:#63C; color:white; text-align:center; line-height:30px; vertical-align:middle; margin-top:3px} .f:…
阅读更多...
sublime 常用插件

sublime 常用插件

AutoFileName 文件提示路径&#xff0c;在img,script的[src]属性。link,a的[href]属性&#xff0c;background 的[url]属性后提示文件的路径 CSS Format css格式化工具 Pretty JSON json格式化工具转载于:https://www.cnblogs.com/zhangtao1990/p/9231608.html
阅读更多...
有一句说一千句，是作家....

有一句说一千句，是作家....

有一句说一千句&#xff0c;是作家&#xff0c;这叫文采&#xff1b;有一句说一百句&#xff0c;是演说家&#xff0c;这叫口才&#xff1b;有一句说十句&#xff0c;是教授&#xff0c;这叫学问&#xff1b;有一句说一句&#xff0c;是律师&#xff0c;这叫严谨&#xff1b;说…
阅读更多...
java jsoup爬取动态网页_java通过Jsoup爬取网页(入门教程)

java jsoup爬取动态网页_java通过Jsoup爬取网页(入门教程)

一&#xff0c;导入依赖org.jsoupjsoup1.10.3org.apache.httpcomponentshttpclient二&#xff0c;编写demo类注意不要导错包了,是org.jsoup.nodes下面的package com.taotao.entity;import org.apache.http.HttpEntity;import org.apache.http.client.methods.CloseableHttpResp…
阅读更多...
最新文章

Copyright @ 2022~2023