iLogtail 社区版使用入门 - 采集 MySQL Binlog

iLogtail是阿里云日志服务（SLS）团队自研的可观测数据采集Agent，拥有的轻量级、高性能、自动化配置等诸多生产级别特性，可以署于物理机、虚拟机、Kubernetes等多种环境中来采集遥测数据。iLogtail在阿里云上服务了数万家客户主机和容器的可观测性采集工作，在阿里巴巴集团的核心产品线，如淘宝、天猫、支付宝、菜鸟、高德地图等也是默认的日志、监控、Trace等多种可观测数据的采集工具。目前iLogtail已有千万级的安装量，每天采集数十PB的可观测数据，广泛应用于线上监控、问题分析/定位、运营分析、安全分析等多种场景，在实战中验证了其强大的性能和稳定性。

在当今云原生的时代，我们坚信开源才是iLogtail最优的发展策略，也是释放其最大价值的方法。因此，我们决定将iLogtail开源，期望同众多开发者一起将iLogtail打造成世界一流的可观测数据采集器。

MySQL Binlog背景

MySQL Binlog记录了MySQL的变更日志，包括DML、DDL等，其中DML不会记录SELECT、SHOW等，因为只读的SQL语句不会对数据库的状态产生影响。

Binlog对于MySQL的重要性不言而喻，在数据库崩溃的情况下可以借助Binlog进行恢复。因为Binlog记录了每个变更的内容，所以理论上可以将数据库的状态恢复到Binlog存在的任意时刻，常用数据库备份。

主从复制也是Binlog的一个重要使用场景，在读多写少的互联网应用中，数据库一主多从的部署架构可以给应用增加更多的响应能力，从库从主库同步数据往往也会借助Binlog。

数据库操作审计，由于Binlog记录了所有对数据库的更改操作，所以一些误操作或者危险操作也会记录其中，将Binlog记录下来，分析其中的操作行为，可以实现轻量级的数据库操作审计，追踪其中的误操作发生的时间或者识别危险SQL的发生。

Binlog如此重要，业界也有一些方案来同步Binlog的数据，如Canal、MaxWell、DTS等。不同的工具可以实现不同的目标，iLogtail也提供了便捷的Binlog同步功能，iLogtail采集到Binlog后，可以将结果输出到各类flusher，本文以采集到Kafka为例进行介绍。

理解iLogtail采集Binlog原理

iLogtail内部实现了MySQL Slave节点的交互协议，具体流程如下所示。

  1. iLogtail模拟MySQL Slave节点向MySQL master节点发送dump请求。
  2. MySQL master节点收到dump请求后，会将自身的Binlog实时发送给iLogtail。
  3. iLogtail对Binlog进行事件解析、过滤、数据解析等操作，并将解析好的数据上传到Flusher。

支持Binlog位点

通过指定Binlog的位置，支持从Binlog特定位点进行消费。

支持Checkpoint

在iLogtail重启或者机器意外重启的情况下，iLogtail会对当前消费的位点进行保存，并在下次重新启动时，从上次消费的位置进行消费。

支持多种数据库过滤

支持对数据库的表进行黑白名单配置。

支持全局事务ID（GTID）

支持MySQL数据库服务器的GTID功能，避免主从切换引起的数据丢失。

使用场景

本文介绍使用iLogtail对数据库的增删改的Binlog进行采集，并且将采集到的数据输出到Kafka。本文以MySQL的示例数据库employees为例进行采集。其中涉及的表为titles。内容如下

emp_no  title from_date to_date
10006 Senior Engineer 1990-08-05  9999-01-01

部署iLogtail采集MySQL Binlog

接下来介绍如果使用iLogtail采集MySQL的Binlog

前提条件

  1. 安装MySQL并且开启Binlog，Binlog为ROW模式；参考链接。
  2. 安装kafka
# 下载、解压
$ wget  https://dlcdn.apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz
$ tar -xzf kafka_2.13-3.2.0.tgz
$ cd kafka_2.13-3.2.0
# 启动
# Start the ZooKeeper service
# Note: Soon, ZooKeeper will no longer be required by Apache Kafka.
$ nohup bin/zookeeper-server-start.sh config/zookeeper.properties &
# Start the Kafka broker service
$ nohup bin/kafka-server-start.sh config/server.properties &
  • 创建topic，设置为binlog。
bin/kafka-topics.sh--create--topicbinlog--bootstrap-serverlocalhost:9092

更多部署说明，详见链接。

安装iLogtail

  • 下载iLogtail
$ wget https://ilogtail-community-edition.oss-cn-shanghai.aliyuncs.com/1.1.0/ilogtail-1.1.0.linux-amd64.tar.gz
$ tar -xzvf ilogtail-1.1.0.linux-amd64.tar.gz
$ cd ilogtail-1.1.0
$ ll
drwxrwxr-x 5 505 505      4096 7月  10 18:00 example_config
-rwxr-xr-x 1 505 505  84242040 7月  11 00:00 ilogtail
-rwxr-xr-x 1 505 505     16400 7月  11 00:00 libPluginAdapter.so
-rw-r--r-- 1 505 505 115963144 7月  11 00:00 libPluginBase.so
-rw-rw-r-- 1 505 505     11356 7月  11 00:00 LICENSE
-rw-rw-r-- 1 505 505      5810 7月  11 00:00 README-cn.md
-rw-rw-r-- 1 505 505      4834 7月  11 00:00 README.md
-rw-rw-r-- 1  505  505    118 7月  14 11:22 ilogtail_config.json
drwxr-xr-x 2 root root    4096 7月  12 09:55 user_yaml_config.d
  • 采集配置

在user_yaml_config.d目录下创建binlog.yaml

enable: true
inputs:- Type: service_canalHost: 127.0.0.1Port: 3306ServerID: 123456Password: xxxxxEnableDDL: trueTextToString: true
flushers:- Type: flusher_kafkaBrokers:- localhost:9092Topic: access-log
$ tree user_yaml_config.d/
user_yaml_config.d/
└── binlog.yaml

启动

$ nohup ./ilogtail > stdout.log 2> stderr.log &

验证

# 终端1: 启动kafka-console-consumer，消费binlog

$ bin/kafka-console-consumer.sh--topicbinlog--from-beginning--bootstrap-serverlocalhost:9092

终端2：分别执行三条语句更新数据库

# 分别执行三条sql语句

update titles set title = 'test-update' where emp_no = 10006 delete from titles where emp_no = 10006 INSERT INTO `titles` (`emp_no`, `title`, `from_date`, `to_date`) VALUES (10006, 'Senior Engineer', '1990-08-05', '9999-01-01');

终端1：查看结果

# 终端1: 消费到写入的访问日志，说明流程正常。

{"Time":1657890330,"Contents":[{"Key":"_table_","Value":"titles"},{"Key":"_offset_","Value":"4308"},{"Key":"_old_emp_no","Value":"10006"},{"Key":"from_date","Value":"1990-08-05"},{"Key":"_host_","Value":"127.0.0.1"},{"Key":"_event_","Value":"row_update"},{"Key":"_id_","Value":"12"},{"Key":"_old_from_date","Value":"1990-08-05"},{"Key":"_gtid_","Value":"00000000-0000-0000-0000-000000000000:0"},{"Key":"_db_","Value":"employees"},{"Key":"_filename_","Value":"mysql-bin.000001"},{"Key":"_old_title","Value":"Senior Engineer"},{"Key":"_old_to_date","Value":"9999-01-01"},{"Key":"emp_no","Value":"10006"},{"Key":"title","Value":"test-update"},{"Key":"to_date","Value":"9999-01-01"}]}
{"Time":1657890333,"Contents":[{"Key":"_id_","Value":"13"},{"Key":"_filename_","Value":"mysql-bin.000001"},{"Key":"emp_no","Value":"10006"},{"Key":"title","Value":"test-update"},{"Key":"_db_","Value":"employees"},{"Key":"_table_","Value":"titles"},{"Key":"_event_","Value":"row_delete"},{"Key":"from_date","Value":"1990-08-05"},{"Key":"to_date","Value":"9999-01-01"},{"Key":"_host_","Value":"127.0.0.1"},{"Key":"_gtid_","Value":"00000000-0000-0000-0000-000000000000:0"},{"Key":"_offset_","Value":"4660"}]}
{"Time":1657890335,"Contents":[{"Key":"_offset_","Value":"4975"},{"Key":"emp_no","Value":"10006"},{"Key":"title","Value":"Senior Engineer"},{"Key":"from_date","Value":"1990-08-05"},{"Key":"_gtid_","Value":"00000000-0000-0000-0000-000000000000:0"},{"Key":"_filename_","Value":"mysql-bin.000001"},{"Key":"_table_","Value":"titles"},{"Key":"_event_","Value":"row_insert"},{"Key":"_id_","Value":"14"},{"Key":"to_date","Value":"9999-01-01"},{"Key":"_host_","Value":"127.0.0.1"},{"Key":"_db_","Value":"employees"}]}

总结

通过以上的示例，演示了如何使用iLogtail采集MySQL的Binlog日志。借助iLogtail进行简单的配置，即可完成对Binlog的采集，同时iLogtail也支持更多的灵活的配置，对采集的格式进行配置，iLogtail基于Canal的方案来对数据库进行采集。

通过采集Binlog可以在SLS对数据库的增量改动进行查询、分析、可视化；也可以借助SLS的告警功能对于危险SQL进行监控告警配置，在SLS可以进行低成本长期存储，高性能查询来实现审计的需求。

关于iLogtail

iLogtail作为阿里云SLS提供的可观测数据采集器，可以运行在服务器、容器、K8s、嵌入式等多种环境，支持采集数百种可观测数据（日志、监控、Trace、事件等），已经有千万级的安装量。目前，iLogtail已正式开源，欢迎使用及参与共建。

GitHub: https://github.com/alibaba/ilogtail

社区版文档：https://ilogtail.gitbook.io/ilogtail-docs/about/readme

企业版官网：https://help.aliyun.com/document_detail/65018.html

原文链接

本文为阿里云原创内容，未经允许不得转载。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/510513.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

融合数据库生态：利用 EventBridge 构建 CDC 应用

融合数据库生态：利用 EventBridge 构建 CDC 应用

引言 CDC（Change Data Capture）指的是监听上游数据变更，并将变更信息同步到下游业务以供进一步处理的一种应用场景。近年来事件驱动架构（EDA）热度逐步上升，日渐成为项目架构设计者的第一选择。EDA 天然契合…
阅读更多...
Pandas+ SLS SQL：融合灵活性和高性能的数据透视

Pandas+ SLS SQL：融合灵活性和高性能的数据透视

Pandas是什么 Pandas是一个十分强大的python数据分析工具，也是各种数据建模的标准工具。Pandas擅长处理数字型数据和时间序列数据。Pandas的第一大优势在于，封装了一些复杂的代码实现过程，只需要调用接口就行了，避免了编写大量的…
阅读更多...
iLogtail 开源之路

iLogtail 开源之路

2022年6月底，阿里云iLogtail代码完整开源，正式发布了完整功能的iLogtail社区版。iLogtail作为阿里云SLS官方标配的采集器，多年以来一直稳定服务阿里集团、蚂蚁集团以及众多公有云上的企业客户，目前已经有千万级的安装量&#xff0…
阅读更多...
迁移 Nacos 和 ZooKeeper，有了新工具

迁移 Nacos 和 ZooKeeper，有了新工具

背景 注册中心迁移在行业中主要有两个方案，一个是双注册双订阅模式（类似数据库双写），一个是 Sync 模式（类似于数据库 DTS）；MSE 同时支持了两种模式，对于开通 MSE 服务治理客户&…
阅读更多...
基于 Serverless+OSS 分分钟实现图片秒变素描

基于 Serverless+OSS 分分钟实现图片秒变素描

场景介绍 小明接到学校老师安排的任务，需要批量将班级里同学们拍的普通照片转换为素描图，供课堂游戏使用，于是求助到程序员老爸，机智的程序员老爸分分钟用几行Python代码解决：在阿里云Serverless函数计算服务中部署普…
阅读更多...
解析 RocketMQ 业务消息 - “顺序消息”

解析 RocketMQ 业务消息 - “顺序消息”

引言 Apache RocketMQ 诞生至今，历经十余年大规模业务稳定性打磨，服务了阿里集团内部业务以及阿里云数以万计的企业客户。作为金融级可靠的业务消息方案，RocketMQ 从创建之初就一直专注于业务集成领域的异步通信能力构建。本篇将继续业务消息…
阅读更多...
Koordinator 0.6：企业级容器调度系统解决方案，引入 CPU 精细编排、资源预留与全新的重调度框架

Koordinator 0.6：企业级容器调度系统解决方案，引入 CPU 精细编排、资源预留与全新的重调度框架

阿里云原生开源的混部系统 Koordinator 基于阿里超大规模混部生产实践经验而来，旨在为用户打造云原生场景下接入成本最低、混部效率最佳的解决方案，助力用户企业实现云原生后提升计算资源利用率、降低 IT 成本。 经过社区多位成员的贡献，Koor…
阅读更多...
KubeVela Maintainer 徐佳航：什么样的开源项目将具有可延续的生命力?

KubeVela Maintainer 徐佳航：什么样的开源项目将具有可延续的生命力?

云原生的技术价值喻示着它就是未来，加入到一个具有可延续性生命力的开源社区，可以帮助我们更快地到达那里。——徐佳航，KubeVela Maintainer，来自招商银行基础设施研发中心云平台及运维平台开发团队。来自招商银行基础设施研发中心…
阅读更多...
龙蜥社区首推“分层分类”顶设 发展以云为终态的开源产业创新生态

龙蜥社区首推“分层分类”顶设 发展以云为终态的开源产业创新生态

在刚刚结束的 2022 开放原子全球开源峰会 OpenAnolis 分论坛上，龙蜥社区技术委员会主席杨勇做了《OpenAnolis 社区技术发展报告》的主题演讲，分享龙蜥社区如何从 0 到 1 实现原生社区布局，以及发展以云为终态的开源产业创新生态。 全文整理如…
阅读更多...
友邦人寿可观测体系设计与落地

友邦人寿可观测体系设计与落地

业务场景与挑战 友邦保险是香港联合交易所上市的人寿保险集团，覆盖 18 个市场。截至 2021 年 12 月 31 号，总资产 3400 亿美元。 友邦保险于 1992 年在上海设立分公司，是改革开放后最早一批获发个人人身保险业务营业执照的非本土保险机构之…
阅读更多...
如何写出有效的单元测试

如何写出有效的单元测试

什么是单元测试 《单元测试的艺术》中对单元测试的定义： 一个单元测试是一段自动化的代码，这段代码调用被测试的工作单元，之后对这个单元的单个最终结果的某些假设进行校验。 单元测试几乎都是用单元测试框架编写的；只要产品代…
阅读更多...
测试环境不稳定复杂的必然性及其对策

测试环境不稳定复杂的必然性及其对策

这篇文章想要讲的，的确是两件事情： 为什么测试环境的不稳定是必然的，怎么让它尽量稳定一点？为什么测试环境比生产环境更复杂，怎么让它尽量简单一点？ 此外，还会谈一谈对测试环境和生产环境的区别…
阅读更多...
【计算几何】线段相交

【计算几何】线段相交

问题描述：已知两条线段P1P2和Q1Q2，判断P1P2和Q1Q2是否相交，若相交，求出交点。 两条线段的位置关系可以分为三类：有重合部分、无重合部分但有交点、无交点。 算法的步骤如下： 1.快速排斥实验。 设以线段…
阅读更多...
代码圈复杂度治理小结

代码圈复杂度治理小结

网上有个段子，说建筑工程师不会轻易答应会给摩天大楼增加一个地下室，但代码开发工程师却经常在干这样的事，并且总有人会对你说“这个需求很简单”。到土里埋个雷，这确实不复杂，但我们往往面临的真实场景其实是“在一片…
阅读更多...
MSE 治理中心重磅升级-流量治理、数据库治理、同 AZ 优先

MSE 治理中心重磅升级-流量治理、数据库治理、同 AZ 优先

本次 MSE 治理中心在限流降级、数据库治理及同 AZ 优先方面进行了重磅升级，对微服务治理的弹性、依赖中间件的稳定性及流量调度的性能进行全面增强，致力于打造云原生时代的微服务治理平台。 前情回顾 在介绍升级能力之前，先简要回顾 MSE 产…
阅读更多...
基于阿里云 Serverless 快速部署 Function 的极致体验

基于阿里云 Serverless 快速部署 Function 的极致体验

1.Serverless 前世今生 1.1 Serverless 背景介绍 云计算的不断发展，涌现出很多改变传统IT架构和运维方式的新技术，而以虚拟机、容器、微服务为代表的技术更是在各个层面不断提升云服务的技术能力，它们将应用和环境中很多通用能力变成了一种…
阅读更多...
性能提升1倍，成本直降50%！基于龙蜥指令加速的下一代云原生网关

性能提升1倍，成本直降50%！基于龙蜥指令加速的下一代云原生网关

​ 技术背景 网络信息传输的可靠性、机密性和完整性要求日渐提升，HTTPS 协议已经广泛应用。HTTPS 的 SSL/TLS 协议涉及加解密、校验、签名等密码学计算，消耗较多 CPU 计算资源。因此 CPU 硬件厂商推出过多种加速卸载方案，如 AES-NI、QAT、KA…
阅读更多...
TiDB、OceanBase、PolarDB-X、CockroachDB 二级索引写入性能测评

TiDB、OceanBase、PolarDB-X、CockroachDB 二级索引写入性能测评

为什么要做这个测试 二级索引是关系型数据库相较于NoSQL数据库的一个关键差异。二级索引必须是强一致的，因此索引的写入需要与主键的写入放在一个事务当中，事务的性能是二级索引性能的基础。 目前市面上的分布式数据库中，从使用体验的角度看…
阅读更多...
EMQX + PolarDB-X 一站式 IoT 数据解决方案

EMQX + PolarDB-X 一站式 IoT 数据解决方案

本文整理自 EMQX 产品经理李国伟，在PolarDB开源社区中关于EMQX与PolarDB-X构建一站式IoT数据解决方案的分享。本篇内容主要分为四个部分： 1. IoT数据特性 2. EMQX介绍 3. EMQX与PolarDB-X集成 4. EMQXPolarDB-X方案DEMO 一、IoT数据特性 物联网应用场景…
阅读更多...
阿里 Seata 新版本终于解决了 TCC 模式的幂等、悬挂和空回滚问题

阿里 Seata 新版本终于解决了 TCC 模式的幂等、悬挂和空回滚问题

大家好，我是君哥。 今天来聊一聊阿里巴巴 Seata 新版本（1.5.1）是怎么解决 TCC 模式下的幂等、悬挂和空回滚问题的。 TCC 回顾 TCC 模式是最经典的分布式事务解决方案，它将分布式事务分为两个阶段来执行，try 阶段对每…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023