一站式数据采集存储的利器:阿里云InfluxDB®️数据采集服务

背景

随着时序数据的飞速增长,时序数据库不仅需要解决系统的稳定性和性能问题,还需实现数据从采集到分析的链路打通,才能让时序数据真正产生价值。在时序数据采集领域,一直缺少自动化的采集工具。虽然用户可以使用一些开源的采集工具实现数据采集,例如,Telegraf、Logstash和TCollector等,但是,这些采集工具都需要用户自行搭建并维护其运行的环境,增加了用户的学习成本,大大提高了数据采集的门槛。另一方面,现有的采集工具缺乏对多个采集源的自动化管理,用户难以统一管理多个不同的采集源,实时监控各个采集工具是否正常运行并采集数据。

阿里云InfluxDB®除了提供稳定可靠的时序数据库服务,还提供了非常便捷的数据采集服务。用户能够方便查看各个采集源的运行状态并管理它们,采集的数据会自动存储到阿里云InfluxDB®。用户无需担心运维的问题,实现数据从采集到分析的一站式服务。本文主要介绍如何使用InfluxDB®的数据采集服务,实现数据从采集到存储的自动化管理。

阿里云InfluxDB®数据采集服务优势

  • 提供丰富的采集指标:支持MySQL、Redis、MongoDB和系统监控等数据的采集
  • 支持监控多个采集源:用户可以一目了然地监控多个采集源的状态
  • 采集源便捷管理:无需编码,用户即可方便地添加、删除和修改采集源
  • 采集数据自动存入InfluxDB®,保障采集数据不丢失

我们能做什么?

1. 轻松采集数据

目前,阿里云InfluxDB®支持采集有关MySQL、Redis、MongoDB和系统监控等四种不同类型的数据,针对每种类型的数据,采集多项监控指标,方便用户更全面地了解被监控对象。用户通过InfluxDB®实例的管理控制台,即可添加新采集源,一键安装,无需编写代码。

采集数据的操作流程如下:

  • 创建采集配置:选择采集数据的类型、数据写入的数据库和保留策略。
  • 添加采集源:在数据源机器上一键安装InfluxDB®数据采集工具,选择采集配置,即可开始采集数据。

2. 实时监控采集源

采集源在运行过程中,您可以实时地监控数据采集的状态,查看采集数据最近一次到达InfluxDB®的时间;并且,您还可以随时停止数据的采集,在您认为合适的时候再重新开启数据采集服务。

3. 一键切换采集数据类型

如果您想要改变被监控机器上的采集数据类型,无需重新添加新的采集源,只需选择您想要的采集配置即可,数据采集工具会自动切换成采集您指定的监控数据。

4. 采集数据自动存入InfluxDB®

您可以在采集配置中选择数据流入的数据库和保留策略,数据采集工具会自动将采集数据存入指定的数据库和保留策略,并且,您可以在采集源运行的过程中修改数据写入的数据库和保留策略,只需修改采集配置即可。

最佳实践

本小节将介绍如何采集系统监控的数据,并实时展示采集结果。系统监控的数据包含处理器、磁盘、内存、网络、进程和系统等信息,收集的数据分别存储在8个不同的measurement中(measurement分别为cpu、disk、diskio、mem、net、processes、swap和system)。在开始前,请先确保已经成功创建数据库和对该数据库有读写权限的用户账号。

1. 创建采集系统监控数据的配置

点击InfluxDB®管理控制台左侧导航栏的“添加采集配置”,进入到采集配置添加界面,如下图所示。填写“采集配置名称”,选择“采集数据类型”为“系统监控”,然后选择“授权账号”、“数据写入DB”和“数据库存储策略”,并填写“授权密码”。点击“添加”即可成功创建采集配置。

2. 添加采集源

点击InfluxDB®管理控制台左侧导航栏的“添加采集源”,进入到采集源添加页面。
(1)选择网络类型,“公网”或者“专有网络”,然后点击“下一步”,如下图所示。

(2)在数据源所在主机安装采集工具。将安装命令复制到主机上即可运行采集工具。采集工具运行后会与InfluxDB®建立连接,在“新采集源扫描结果列表”上可以看到新添加的采集源,如果在该列表上没有显示,可以点击“刷新”或“自动刷新”。如下图所示。

(3)选择采集系统监控的数据。在上图中,点击“选择采集配置”,进入如下界面,从下拉框中选择刚刚创建的名为“collect-system”的采集配置。选择完成后,点击“保存”。

(4)启动数据采集。勾选需要启动的采集源,然后点击“完成并启动采集”,采集工具即可在采集源上开始采集数据,如下图所示。

3. 查看数据采集的状态

在“采集源列表”中,您可以看到所有与InfluxDB®实例建立连接的采集源,如下图所示。每个采集源由uuid唯一标识,“采集状态”为“running”表示采集工具正在采集数据并上报到InfluxDB®,“最新采集上报成功时间”表示采集数据最近一次成功发送到InfluxDB®的时间。

4. 使用Grafana可视化采集数据

(1)安装Grafana。有关如何安装Grafana可查看文档。

(2)添加数据源。设置“URL”为InfluxDB®实例的地址,并且填写采集数据所写入的数据库和用户账号,如下图所示。

(3)配置Dashboard,编写查询规则。这里示范的是查询磁盘使用率,查询语句为:

SELECT MEAN("used_percent") FROM "disk" GROUP BY time(10s)

实时查询结果如下图所示。

您可以根据实际需要,查看其它measurement和field的数据,分别在FROM和SELECT语句中指定即可。

总结

阿里云InfluxDB®提供方便快捷的数据采集服务,自动化管理数据源,帮您解决数据采集的问题,实现数据从采集到存储的自动化。未来,我们会支持更多数据类型和指标的采集,敬请期待。


原文链接
本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/518339.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Serverless 风起云涌,为什么阿里、微软、AWS 纷纷拥抱开源 OAM?

作者 | 张磊,阿里云原生应用平台高级技术专家邓洪超,阿里云技术专家责编 | 唐小引头图 | CSDN 下载自东方 IC出品 | CSDN(ID:CSDNnews)Serverless 这个词第一次被是 2012 年一篇名为《Why The Future of Software and …

K8S从懵圈到熟练 - 我们为什么会删除不了集群的命名空间?

阿里云售后技术团队的同学,每天都在处理各式各样千奇百怪的线上问题。常见的有,网络连接失败,服务器宕机,性能不达标,请求响应慢等。但如果要评选,什么问题看起来微不足道事实上却足以让人绞尽脑汁&#xf…

为什么技术人一定要懂点“可信计算”?

阿里妹导读:可信计算(TrustedComputing,简称TC)是一项由TCG(可信计算组)推动和开发的技术。可信的核心目标之一是保证系统和应用的完整性,从而确定系统或软件运行在设计目标期望的可信状态。可信和安全是相辅相成的&am…

很用心的为你写了 9 道 MySQL 面试题,建议收藏!

来源 | Java 建设者责编| Carol封图| CSDN下载于视觉中国 MySQL 也是作者本人正在学习的部分,后面会多输出 MySQL 的文章贡献给大家,毕竟 MySQL 涉及到数据存储、锁、磁盘寻道、分页等操作系统概念,而且互联网对 MySQL 的注重程度是不言而喻的…

OpenTelemetry-可观察性的新时代

有幸在2019KubeCon上海站听到Steve Flanders关于OpenTelemetry的演讲,之前Ops领域两个网红项目OpenTracing和OpenCensus终于走到了一起,可观察性统一的标准化已经扬帆起航。 这篇文章旨在抛砖引玉,希望能够和更多的同学一起交流可观察性相关的…

JavaScript-严格检查模式

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>Title</title><!--前提&#xff1a; IDEA需要设置支持ES6 语法use strict; 必须写在JavaScript 的第一行严格检查模式&#xff0c;预防JavaS…

我们为什么需要 SpringBoot?

作者 | 阿文&#xff0c;责编 | 郭芮头图 | CSDN 下载自东方IC出品 | CSDN&#xff08;ID&#xff1a;CSDNnews&#xff09;任何先进技术的产生都不是凭空出现的&#xff0c;SpringBoot 也不例外&#xff0c;SpringBoot 是基于Spring 的基础上产生的。总所周知&#xff0c;Spri…

高德网络定位之“移动WiFi识别”

导读 随着时代的发展&#xff0c;近10年来位置产业蓬勃发展&#xff0c;定位能力逐渐从低精度走向高精度&#xff0c;从部分场景走向泛在定位。设备和场景的丰富&#xff0c;使得定位技术和能力也不断的优化更新。定位能力包括GNSS、DR&#xff08;航迹推算&#xff09;、MM&a…

JavaScript-字符串

字符串 正常字符串使用单引号 或者 双引号 包裹注意转义字符 \ \ \n \t \u4e2d \u#### Unicode字符 \x41 Ascll字符多行字符串编写 // tab 上面 esc下面的引号 let msg helloworld你好 console.log(msg)模板字符串 let name ht let age 5; let msg hello${name}你…

Alibaba Sentinel规则持久化-拉模式-手把手教程【基于文件】

文章目录一、拉模式架构二、原理简述三、编写3.1 加依赖3.2 写代码3.3 配置四、优缺点分析五、你可能会有的疑问六、参考文档七、案例测试7.1. 添加流控规则7.2. 服务停止7.3. 重新启动服务7.4. 调用接口7.5. 查看流控规则本文实现基于拉模式的Alibaba Sentinel规则持久化。一、…

开发者说:Seata 0.7.0 版本,你 get 'Metrics' 技能了吗?

从用户的视角来感受一个开源项目的成长&#xff0c;是我们推出「开发者说」专栏的初衷&#xff0c;即在开发者进行开源项目选型时&#xff0c;提供更为立体的项目信息。专栏所有内容均来自作者原创/投稿&#xff0c;本文是「开发者说」的第9篇&#xff0c;作者郑扬勇&#xff0…

面试时遇到「看门狗」脖子上挂着「时间轮」,我就问你怕不怕?

来源 | Why技术封图 | CSDN 下载于视觉中国之前写了一篇文章&#xff0c;有一个小节中写到这样一段话&#xff1a;于是就有读者来问了&#xff1a;老哥&#xff0c;看门狗介绍一下呗。面试的时候被问到了&#xff0c;没有回答上来。听到这个问题我脑海里首先浮现出了几个问题&…

海量结构化数据存储技术揭秘:Tablestore存储和索引引擎详解

前言 表格存储Tablestore是阿里云自研的面向海量结构化数据存储的Serverless NoSQL多模型数据库。Tablestore在阿里云官网上有各种文档介绍&#xff0c;也发布了很多场景案例文章&#xff0c;这些文章收录在这个合集中《表格存储Tablestore权威指南》。值得一提的是&#xff0…

JavaScript-数组

数组 Array可以包含任意的数据类型 var arr [1,2,3,4,5,6] arr[0] // 取值 arr[0] 3 // 赋值长度 arr.length arr.length 10 // 长度是可变的注意&#xff1a;假如给arr.length 赋值&#xff0c;数组大小就会发生变化。如果赋值过小&#xff0c;元素就会丢失 获取指定字…

Alibaba Sentinel规则持久化-推模式-手把手教程【基于Nacos】

前面&#xff0c;已经为Sentinel实现了 基于拉模式的规则持久化 &#xff0c;本文来实现基于 推模式的规则持久化。 文章目录一、推模式架构图二、原理简述三、微服务改造3.1. 加依赖3.2. 添加配置四、Sentinel控制台改造五、编译 & 启动六、测试测试1&#xff1a;测试2&am…

现代IM系统中的消息系统架构 - 实现篇

序 消息类场景是表格存储&#xff08;Tablestore&#xff09;主推的方向之一&#xff0c;因其数据存储结构在消息类数据存储上具有天然优势。为了方便用户基于Tablestore为消息类场景建模&#xff0c;Tablestore封装Timeline模型&#xff0c;旨在让用户更快捷的实现消息类场景…

linux 环境 RocketMQ 4.8.0 安装、部署控制台

windows下RocketMQ下载、安装、部署、控制台 https://gblfy.blog.csdn.net/article/details/115734482 文章目录一、软件下载二、启动2.1. Linux/Unix/MacOS安装教程2.2. 验证RocketMQ功能正常&#xff08;可选&#xff09;2.3. 服务停止三、安装可视化插件3.1. github下载3.2.…

数据洪流时代,开发者这样硬核突围!

随着社会信息化的脚步加快&#xff0c;我们每个人无时无刻都在产生数据&#xff1a;刷抖音、聊微信、视频会议、点外卖……拇指轻轻一点击的背后&#xff0c;将引发意想不到的数据洪流&#xff1a;据 IDC 发布《数据时代 2025》的报告显示&#xff0c;全球每年产生的数据将从 2…

机器学习在交通标志检测与精细分类中的应用

导读 数据对于地图来说十分重要&#xff0c;没有数据&#xff0c;就没有地图服务。用户在使用地图服务时&#xff0c;不太会想到数据就像冰山一样&#xff0c;用户可见只是最直接、最显性的产品功能部分&#xff0c;而支撑显性部分所需要的根基&#xff0c;往往更庞大。 地图…

Kubenetes 监控一站式解决方案:阿里云 Prometheus 免费公测

Prometheus是目前企业级云原生应用的首选开源监控工具。作为云原生计算基金会&#xff08;CNCF&#xff09;第二个毕业的项目&#xff08;第一个是Kubernetes&#xff09;&#xff0c;Prometheus对K8s容器环境有很好的原生支持。近日刚刚发布免费公测的阿里云Prometheus&#x…