KaiwuDB 监控组件及辅助 SQL 调优介绍

一、介绍

KaiwuDB 具备完善的行为数据采集功能，此功能要求 KaiwuDB 数据库系统 C/E/T 端不同进程的不同维度的指标采集功能十分完善；在不同进程完成指标采集后，会通过 Opentelemetry 和 Collector 将指标存入 Prometheus，以便查找展示。

Opentelemetry 是一个用于跨多个服务和系统进行分布式跟踪和性能监测的工具，可以帮助收集、记录和分析应用程序的各种数据。

Opentelemetry Collector 是其中的一个组件，它提供了一个通用的数据收集器，可以从多个数据源中收集和转换数据，并将其发送到多个目标存储或分析平台。

1. Opentelemetry Collector 的主要功能

  • 数据收集：Opentelemetry Collector 可从多个数据源收集数据，包括 OpenTracing、OpenCensus、Jaeger、Zipkin 和 Prometheus 等数据源；

  • 数据转换：Opentelemetry Collector 可以将从不同来源收集的数据转换为一致的格式，以便于传输、存储和分析；

  • 数据导出：Opentelemetry Collector 可以将已转换的数据导出到多个目标存储或分析平台，包括 Kafka、AWS S3、Google Cloud Storage、Elasticsearch、Prometheus 和 Zipkin 等。

2. Opentelemetry Collector 的获取

Opentelemetry Collector 是一个开源项目，可以在 githhub 中查看并获取到源码及发行版 https://github.com/open-telemetry/opentelemetry-collector


git clone git@github.com:open-telemetry/opentelemetry-collector.git

也可通过 docker 拉取镜像：


docker pull otel/opentelemetry-collector:0.78.0

二、监控使用

Opentelemetry Collector 可以对数据库进行监控，以收集关于数据库性能和行为方面的指标。它可以使用 OpenTelemetry API 或可用的数据库驱动程序进行操作，以收集以下指标：

  • 响应时间：可以测量数据库请求的响应时间，从而确定查询的性能和效率；

  • 错误率：可以识别数据库是否遇到错误，以及有多少请求在请求过程中失败；

  • 连接数：可以测量数据库上打开的连接数量，以确定有多少客户端正在连接；

  • 缓存效率：可以了解数据库是否使用缓存，并确定缓存的命中率；

  • 读写比率：可以了解有多少数据库请求是读操作和写操作。

通过 Opentelemetry Collector 监控数据库，可以及时发现数据库性能方面的问题，如响应时间长、错误率高等，并进行诊断和优化。此外，它还可以与其他组件一起使用，如有些业务数据需要查询数据库，就可以将这些指标集成到整个业务监控体系中，以获取更完整的业务性能指标。

Opentelemetry 中指标采集的流程如下：

MetricReader 会周期性调用 MetricCollector 的 Collect 方法， MetricCollector 的 Collect 方法中会遍历 MeterProvider 中所有指标并将其打包返回给 MetricReader，随后通过 Expor 方法将指标通过 http 协议发送到 OpenTelemetry-Collector。

Opentelemetry Collector 支持从 Prometheus 数据源中收集指标数据，并将其转换为 OpenTelemetry 标准的格式，以便于进行跨平台和跨语言的应用。以下是如何使用 Opentelemetry Collector 收集和处理 Prometheus 数据源的指标数据的步骤：

1. 配置 Opentelemetry Collector

Opentelemetry Collector 的配置可以由以下几个部分组成：

  • Receiver：接收器，即 Collector 接收的数据源的形式；

  • Processor：在 Receiver 和 Exportor 之间执行的类似于处理数据的插件；

  • Exportor：导出器，即 Collector 输出的数据源的形式；

  • Service：部分用于配置 OpenTelemetry Collector 根据上述的配置会启用那些特性。

2. 启动 Opentelemetry Collector

启动 Opentelemetry Collector 时，可以使用命令行或配置文件来指定要收集和导出的数据源和目标存储或分析平台。


# start collector using the configuration file
$ ./otelcol --config collector-config.yaml

也可使用 docker 启动镜像：

ocker run -v $(pwd)/config.yaml:/etc/otelcol-contrib/config.yaml otel/opentelemetry-collector:0.78.0

在客户端应用程序中生成指标数据为了将指标数据发送到 Opentelemetry Collector，客户端应用程序需要使用适当的 API 和配置来生成指标数据。以下是使用 C++ 应用程序发送指标数据的示例代码：

#include <opentelemetry/sdk/metrics/meter.h>
#include <opentelemetry/exporters/otlp/otlp_http/otlp_http_exporter.h>
#include <opentelemetry/sdk/metrics/controller.h>
#include <opentelemetry/sdk/metrics/processormetrics.h>
#include <iostream>
using namespace opentelemetry::sdk::metrics;
using namespace opentelemetry::exporter::otlphttp;int main()
{try{// Create a metric exporterOtlpHttpExporterOptions opts;opts.url = "http://localhost:4317/v1/metrics";auto exporter = std::unique_ptr<OtlpHttpExporter>(new OtlpHttpExporter(opts));// Create a processorstd::unique_ptr<Processor> processor(new Processor());// Create a controllerauto controller = std::make_shared<Controller>(std::move(processor), std::chrono::system_clock::now());// Create a meterauto meter = controller->provider().GetMeter("example");// Define a counter metricauto counter = meter->NewIntCounter("example_counter", "counts", "1");// Record some datafor (int i = 0; i < 10; i++){counter->Add(i, {{"key", "value"}});}// Shutdown the controllercontroller->Shutdown().wait();}catch (const std::exception& e){std::cerr << "Exception caught: " << e.what() << std::endl;return 1;}return 0;
}

在此示例中，使用 OpenTelemetry C++ SDK 创建了一个指标 exporter、processor 和 controller，并使用 meter 创建了一个 counter 指标。然后，它使用 Add 方法记录了 10 次计数值，并将指标数据发送到了 OpenTelemetry Collector 中。

3. 分析和可视化数据

通过 Opentelemetry Collector，我们可以将 Prometheus 数据源的指标数据导出到多个目标存储或分析平台。以下是将指标数据导出到 Prometheus 的示例配置：


receivers:prometheus:config:scrape_configs:- job_name: 'my-service'scrape_interval: 30sstatic_configs:- targets: ['localhost:9080/metrics'] # replace with your collector's target
processors:batch:
exporters:prometheus:namespace: my-serviceendpoint: '0.0.0.0:8080' # replace with your prometheus server's endpoint
service:pipelines:metrics:receivers: [prometheus]processors: [batch]exporters: [prometheus]

在此配置文件中，我们定义了一个名为“prometheus”的导出器，并设置了导出命名空间和 Prometheus 服务器的端点地址。通过将指标数据导出到 Prometheus，我们可以使用 Prometheus 的查询语言 PromQL 来进行数据分析和可视化。

在 KaiwuDB 的监控中，使用了 Opentelemetry 的 Metrics API，创建 Gauge 和Counter的方法，并将其注册到 opentelemetry 的 MeterProvider 中。同时，使用 otlp exporter 将指标数据发送到远程的 OTLP 收集器。


opentelemetry::exporter::otlp::OtlpHttpMetricExporterOptions opts;
int interval, timeout;     
ZString ot_url = GetSysConfig("METRICS_PLUGIN", "url");
ZString interval_s = GetSysConfig("METRICS_PLUGIN", "interval");
ZString timeout_s = GetSysConfig("METRICS_PLUGIN", "timeout");
interval = atoi(interval_s.c_str());
timeout = atoi(timeout_s.c_str());
if (ot_url != "")
{opts.url = ot_url;
}
else
{opts.url = "http://localhost:4318/v1/metrics";
}
// Create OTLP exporter instance
auto exporter = otlp::OtlpHttpMetricExporterFactory::Create(opts);
// Initialize and set the global MeterProvider
metric_sdk::PeriodicExportingMetricReaderOptions options;
options.export_interval_millis = std::chrono::milliseconds(interval);
options.export_timeout_millis = std::chrono::milliseconds(timeout);// Initialize the reader
std::unique_ptr<metric_sdk::MetricReader> reader{new metric_sdk::PeriodicExportingMetricReader(std::move(exporter), options)};
// Initialize the provider
auto resource_attributes = opentelemetry::sdk::resource::ResourceAttributes{{"service.name", "service"}};
auto resource = opentelemetry::sdk::resource::Resource::Create(resource_attributes);
auto provider = std::shared_ptr<metrics_api::MeterProvider>(new metric_sdk::MeterProvider(std::unique_ptr<opentelemetry::v1::sdk::metrics::ViewRegistry>(new opentelemetry::v1::sdk::metrics::ViewRegistry()), resource));
auto p = std::static_pointer_cast<metric_sdk::MeterProvider>(provider);
p->AddMetricReader(std::move(reader));
metrics_api::Provider::SetMeterProvider(provider);

上述代码在 KaiwuDB 中用于配置和初始化 OpenTelemetry 的 OTLP exporter 来实现将指标数据发送到指定的后端服务。

在启动Opentelemetry Collector后，即可通过定义好的 url-http://localhost:4318/v1/metrics 来查询相关监控数据。KaiwuDB 中获取到的为 Promtheus 数据，其获取示例如下：

# HELP sys_connection_max_count 
# TYPE sys_connection_max_count gauge
sys_connection_max_count{clusterId="60a10600-497b-4186-88d0-bacafe0a1857",job="KWDB",nodeName="e1Primary",nodeType="E:ME"} 100
# HELP sys_connection_used_count 
# TYPE sys_connection_used_count gauge
sys_connection_used_count{clusterId="60a10600-497b-4186-88d0-bacafe0a1857",job="KWDB",nodeName="e1Primary",nodeType="E:AE"} 0

三、监控指标对于 SQL 的调优作用

在 KaiwuDB 中，针对性能的监控有如下指标

在连接 KaiwuDB 后，通过 http://localhost:4318/v1/metrics 获取到相关的监控指标。

使用如下 SQL 进行查询：

再次查询监控指标可以发现 CPU 的使用率明显升高。

因为这个 SQL 语句使用了通配符（%）来模糊匹配列中的字符串，如果该列中的数据量很大，这个查询可能会导致数据库 CPU 使用率升高，因为它需要在整个列中搜索匹配项。

所以我们可以通过使用添加索引或使用前缀通配符来优化 SQL。


ALTER TABLE operation ADD INDEX idx_result (result);

再次使用 SQL 进行查询后可以看到所用时间明显减少，同时，监控数据中的 CPU 使用率也有所下降。

四、总结

Opentelemetry Collector 是一个非常强大的工具，可以帮助用户轻松地收集、转换和导出分布式跟踪和性能监测数据。使用 Opentelemetry Collector，用户可以更好地了解他们的应用程序和系统的性能，并为业务决策提供更好的数据支持。

通过使用 OpenTelemetry 来收集和分析 SQL 指标，可以轻松地监控每个 SQL 查询的执行效率，并识别潜在的性能问题。这有助于优化查询性能并提高应用程序的性能。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/150637.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

KiCad源代码研究：KiCad是如何渲染和绘图的。

KiCad源代码研究：KiCad是如何渲染和绘图的。

common.json文件中appearance.show_scrollbars common.json对应于代码的common_settings 1.EDA_DRAW_PANEL_GAL类 EDA_DRAW_PANEL_GAL类中定义了绘图的基本要素&#xff1a; /// Interface for drawing objects on a 2D-surfaceKIGFX::GAL* m_gal;/// Stores v…
阅读更多...
主播三维能力总览

主播三维能力总览

主播需要的三维能力包括话术能力、成交能力和表现力 主播的话术能力 主播在直播过程中运用语言和表达方式的能力。好的话术能力可以帮助主播吸引观众、增加互动、提高直播效果等。 1.了解观众需求:在直播前&#xff0c;主播应该了解观众的需求和兴趣&#xff0c;以便在直播过…
阅读更多...
小程序商城免费搭建之java商城 电子商务Spring Cloud+Spring Boot+二次开发+mybatis+MQ+VR全景+b2b2c

小程序商城免费搭建之java商城 电子商务Spring Cloud+Spring Boot+二次开发+mybatis+MQ+VR全景+b2b2c

1. 涉及平台 平台管理、商家端&#xff08;PC端、手机端&#xff09;、买家平台&#xff08;H5/公众号、小程序、APP端&#xff08;IOS/Android&#xff09;、微服务平台&#xff08;业务服务&#xff09; 2. 核心架构 Spring Cloud、Spring Boot、Mybatis、Redis 3. 前端框架…
阅读更多...
98.qt qml-使用曲线图综合示例、支持多种鼠标交互、支持百万数据显示(已适配黑白风格)

98.qt qml-使用曲线图综合示例、支持多种鼠标交互、支持百万数据显示(已适配黑白风格)

在上章我们只是简单实现了曲线图和折线图的显示： 79.qt qml-如何在QML中使用QCustomPlot之曲线/折线示例(已适配黑白风格)_qml 折线图_诺谦的博客-CSDN博客 所以本章实现综合示例、并添加多种功能如下所示： 详细显示：鼠标任意移动显示具体值内容鼠标右击: 弹出菜单栏，支持…
阅读更多...
记一次解决Pyqt6/Pyside6添加QTreeView或QTreeWidget导致窗口卡死（未响应）的新路历程，打死我都想不到是这个原因

记一次解决Pyqt6/Pyside6添加QTreeView或QTreeWidget导致窗口卡死（未响应）的新路历程，打死我都想不到是这个原因

文章目录 💢 问题 💢🏡 环境 🏡📄 代码💯 解决方案 💯⚓️ 相关链接 ⚓️💢 问题 💢 我在窗口中添加了一个 QTreeWidget控件 ，但是程序在运行期间，只要鼠标进入到 QTreeWidget控件 内进行操作，时间超过几秒中就会出现窗口 未响应卡死的 状态 🏡 环境 �…
阅读更多...
智慧校园烟火识别及预警解决方案，保障校园消防安全

智慧校园烟火识别及预警解决方案，保障校园消防安全

一、方案背景 校园消防安全一直以来是社会各界备受关注的问题。为了保障师生的人身安全和财产安全&#xff0c;越来越多的学校开始引入AI智能检测技术&#xff0c;通过运用AI智能烟火检测技术&#xff0c;对学校的周界、教室、走廊、公共区域、教学楼、食堂等场所进行安全监测…
阅读更多...
世微 电动车摩托车灯 5-80V 1.2A 一切二降压恒流驱动器AP2915

世微 电动车摩托车灯 5-80V 1.2A 一切二降压恒流驱动器AP2915

产品描述 AP2915 是一款可以一路灯串切换两路灯串的降压恒流驱动器,高效率、外围简单、内置功率管&#xff0c;适用于5-80V 输入的高精度降压 LED 恒流驱动芯片。内置功率管输出最大功率可达 12W&#xff0c;最大电流 1.2A。AP2915 一路灯亮切换两路灯亮&#xff0c;其中一路灯…
阅读更多...
Leetcode 153. 寻找旋转排序数组中的最小值

Leetcode 153. 寻找旋转排序数组中的最小值

class Solution {//因为最小值和最大值总是相邻的&#xff08;除了初始状态&#xff09;//1.用二分查找&#xff0c;如果右侧是有序则最小值在左侧//2.如果右侧无序则最小值在右侧//如果mid正好是最小值&#xff0c;那么右侧自然是有序的&#xff0c;//为了将mid加入到搜索的一…
阅读更多...
Androidstudio 有显示刚刚打开的文件么

Androidstudio 有显示刚刚打开的文件么

Ctrl E
阅读更多...
windows上安装MySQL Server.

windows上安装MySQL Server.

进入官网 MySQL 找到 下载&#xff0c;并点进入。 往下翻&#xff0c;找到社区下载&#xff0c;进入页面 选择 Mysql community Server 选择系统&#xff0c;下载 之后解压。 将解压文件夹下的bin路径添加到变量值中 配置初始化的my.ini文件 [mysqld] # 设置3306端口 port330…
阅读更多...
Docker（镜像、容器、仓库）工具安装使用命令行选项及构建、共享和运行容器化应用程序

Docker（镜像、容器、仓库）工具安装使用命令行选项及构建、共享和运行容器化应用程序

文章目录 前言&#x1f31f;一、Docker工具安装&#x1f31f;二、Docker命令行选项&#x1f30f;2.1.docker run命令选项&#xff1a;&#x1f30f;2.2.docker build命令选项&#xff1a;&#x1f30f;2.3.docker images命令选项&#xff1a;&#x1f30f;2.4.docker ps命令选项…
阅读更多...
【日常总结】java JSON 转 实体类 (含多层嵌套)

【日常总结】java JSON 转 实体类 (含多层嵌套)

一、场景 二、问题 三、解决方案 四、实战 1. 引入maven依赖 2. IEDA 安装lombok 插件 3. 安装 GsonFormPlu 插件 4. 使用 Stage 1&#xff1a;新建类&#xff0c;右键 选择 Generate Stage 2&#xff1a;选择 GsonFormatPlus Stage 3&#xff1a;将json复制其中&…
阅读更多...
【Flink 问题集】The generic type parameters of ‘Collector‘ are missing

【Flink 问题集】The generic type parameters of ‘Collector‘ are missing

错误展示&#xff1a; Exception in thread "main" org.apache.flink.api.common.functions.InvalidTypesException: The return type of function main(CollectionDemo.java:33) could not be determined automatically, due to type erasure. You can give type in…
阅读更多...
研究前沿| Nature：艰难梭菌引发肠道神经源性炎症的新机制

研究前沿| Nature：艰难梭菌引发肠道神经源性炎症的新机制

前言 艰难梭菌感染&#xff08;Clostridioides difficile infection&#xff09;是目前发达国家医院和社区内获得性肠道细菌感染腹泻的最主要原因之一。在美国&#xff0c;每年有约50万例病例和导致约29,000例死亡。艰难梭菌&#xff08;C. difficile&#xff09;是一种产生孢子…
阅读更多...
sftp 从windows10向linux（centos7）传输文件

sftp 从windows10向linux（centos7）传输文件

前言背景&#xff1a;该示例是需要从windows10向本地linux系统传输一个qt安装文件&#xff0c;不想或者无法安装xftp这些传输工具&#xff0c;直接通过命令传输&#xff1b; 首先保证windows10 ping通linux系统ip&#xff0c;linux ping 通windows10系统&#xff1b; 注意&am…
阅读更多...
基于ssm图书馆座位预约系统

基于ssm图书馆座位预约系统

jdk1.8 tomcat8.0 mysql5.7
阅读更多...
Linux：动静态库

Linux：动静态库

目录 一、软硬链接 1、软链接 2、硬链接 二、动态库和静态库 编写一个库 ①静态库 使用静态库的方法 ②动态库 使用动态库的方法 库存在的意义 一、软硬链接 软硬链接的本质区别就是&#xff1a;有无独立的inode 软链接有独立的inode&#xff0c;也就意味着软链接是一…
阅读更多...
Java(三)(static,代码块,单例设计模式,继承)

Java(三)(static,代码块,单例设计模式,继承)

目录 static 有无static修饰的成员变量 有无static修饰的成员方法 static的注意事项 代码块 静态代码块 实例代码块 单例设计模式 饿汉式单例写法 懒汉式单例写法 继承 基本概念 注意事项 权限修饰符 单继承 object 方法重写 子类方法中访问其他成员(成员变量…
阅读更多...
虹科分享 | PEAK版本升级，看看有没有你关注的新功能？

虹科分享 | PEAK版本升级，看看有没有你关注的新功能？

号外号外&#xff01;近期PEAK进行了重要的版本升级&#xff0c;这次升级带来了许多令人兴奋的功能优化&#xff0c;助力您的工作流程更加便捷高效。为了帮助您更好地了解PEAK新版本&#xff0c;我们提供了详细的说明和指导&#xff0c;快来看看有没有你关注的新功能&#xff1…
阅读更多...
【2023春李宏毅机器学习】快速了解机器学习基本原理

【2023春李宏毅机器学习】快速了解机器学习基本原理

文章目录 机器学习约等于机器自动找一个函数 机器学习分类 regression&#xff1a;输出为连续值classification&#xff1a;输出为一个类别structured learning&#xff1a;又叫生成式学习generative learning 生成有结构的物件&#xff08;如&#xff1a;影像、句子&#xf…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023