使用 Docker 部署 canal 服务实现MySQL和ES实时同步

文章目录

    • 0. 环境介绍
    • 0. 前置步骤
    • 1. 安装Kibana和Elasticsearch
    • 2. 安装Canal和Canal Adapter
      • 2.1 修改数据库配置
        • 2.1.1 修改配置
        • 2.1.2 验证mysql binlog配置
        • 2.1.3 查看日志文件
        • 2.1.4 用JDBC代码插入数据库
      • 2.2 安装Canal Server
      • 2.3 安装Canal Adapter
        • 修改两处配置文件
        • 配置文件取消注释一定要自己手动删除`#`，不要用快捷键。否则***会导致文件格式出问题***

参考
ClientAdapter: Canal的Adapter配置项目
Sync ES：Canal的Adapter中ES同步的配置项
使用 Docker 部署 canal 服务
docker canal-server canal-adapter mysql
Canal（基于Docker同步mysql数据到elasticsearch）
Canal部署过程中的错误

0. 环境介绍

  • Canal 1.1.4
  • Canal Adapter 1.1.4
  • Kibana: 6.8.8
  • ElasticSearch: 6.4.3

由于Canal 1.1.4只能适配 ElasticSearch: 6.4.3，因此使用了上述的版本。
Kibana选择 6.8.8是因为他可以用中文？但我没有配置成功。此外Kibana的6.8可以和ES6.4结合。其他情况下需要版本一一对应

关于Kibana和ES的版本对应以及中文设置问题，可以参考

  • Kibana 汉化相关配置 i18n 及版本问题
  • Kibana将语言设置为中文
  • Elasticsearch和Kibana版本对应关系

0. 前置步骤

dokcer服务网络准备
参考让ELK在同一个docker网络下通过名字直接访问, 首先用docker设置一个网络，以后所有相关的容器都放到这里。

docker network create mynetwork

ES的内存准备
命令行输入

sysctl -w vm.max_map_count=262144

1. 安装Kibana和Elasticsearch

参考我之前的博客Ubuntu服务器ELK部署与实践。
注：不同的版本对应的配置方案也需要修改，我的修改有：

Kibana修改
原配置（7.8.0）

server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://elasticsearch:9200"]
# 操作界面语言设置为中文
i18n.locale: "zh-CN"

现配置（6.8.8）

server.port: 5601
server.host: "0.0.0.0"
server.basePath: "/kibana" # 这个是用来配置nginx访问用的
# server.host: "127.0.0.1"
# 注意看这里的参数变了
elasticsearch.url: "http://elasticsearch:9200"
# 操作界面语言设置为中文
# 6.4不支持
# i18n.locale:  "zh-CN"

此外，由于版本变更，相关的API也发生了变更，请多多留意
Create index API 7.8.0
Create index 6.4

数据来自Kaggle的新闻，因此按照数据字段名称，新建如下字段

PUT news_2
{"mappings": {"_doc": {"properties": {"id": {"type": "text","index": true},"title": {"type": "text","analyzer": "ik_max_word"},"_desc": {"type": "text","analyzer": "ik_max_word"},"image": {"type": "text","analyzer": "ik_max_word"},"url": {"type": "text","analyzer": "ik_max_word"},"news_source": {"type": "text","analyzer": "ik_max_word"},"_date": {"type": "date"}}}}
}

2. 安装Canal和Canal Adapter

Canal是用来做数据库slave的，他的原理就是读取数据库的日志文件，实现实时同步（相比logstash的cron表达式可以更加实时）。

2.1 修改数据库配置

2.1.1 修改配置

首先新建数据库的docker镜像

docker run -p 3306:3306 --name mysql \
-v /data/mysql/log:/var/log/mysql \
-v /data/mysql/data:/var/lib/mysql \
-v /data/mysql/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=root \
-d mysql:5.7

接下来去/data/mysql/conf路径下，新建my.cnf文件，输入以下内容

[mysqld]
#binlog setting
log-bin=mysql-bin  # 开启logbin
binlog-format=ROW  # binlog日志格式
server-id=1  # mysql主从备份serverId,canal中不能与此相同

docker restart重启mysql

2.1.2 验证mysql binlog配置

新建新闻表

CREATE SCHEMA MyTest;use MyTest;create table News
(
id INT(11),
title VARCHAR(2125),
desc VARCHAR(2125),
image VARCHAR(2125),
url VARCHAR(2125),
source VARCHAR(2125),
date Date
)DEFAULT CHARSET=utf8;

检查该新闻表的状态

mysql -u root -p  // mysql登录
>show databases;
>use MyTest;  // 开启数据库
>show variables like 'log_%';
>show variables like 'binlog_format';
>show master status;  // binlog日志文件 mysql-bin.000001
>reset master;  // 重置日志

以下截图来自https://blog.csdn.net/qq_32836247/article/details/116561732，展示了应有的配置结果
在这里插入图片描述

2.1.3 查看日志文件

cd /var/lib/mysql  // 进入日志文件目录
mysqlbinlog -vv mysql-bin.000001  // row格式查看日志

在这里插入图片描述

2.1.4 用JDBC代码插入数据库

这个就自己实现吧。不用全部插入，因为Adapter要基于新的日志和ES同步。

2.2 安装Canal Server

首先安装canal-server，复制配置文件到外面

# 启动docker
docker pull canal/canal-server:v1.1.4
docker run --name canal-server -id canal/canal-server:v1.1.4# 复制配置文件
docker cp canal-server:/home/admin/canal-server/conf/ /data/canal_/canal
docker cp canal-server:/home/admin/canal-server/logs/ /data/canal_/canal# 删除并重新启动
docker stop canal-server && docker rm canal-serverdocker run --name canal -p 11111:11111 \
-v /data/canal_/canal/conf/example/instance.properties:/home/admin/canal-server/conf/example/instance.properties \
-v /data/canal_/canal/conf/canal.properties:/home/admin/canal-server/conf/canal.properties \
-v /data/canal_/canal/logs/:/home/admin/canal-server/logs/ \
--network mynetwork \ # 这个是我“让ELK在同一个docker网络下通过名字直接访问”博客中新建的网络，以后所有127.0.0.1都写成docker的name就可以
-d canal/canal-server:v1.1.4

修改Server配置文件example/instance.properties
在这里插入图片描述
注意，canal.properties中的destination要和后续的Canal Adapter保持一致
在这里插入图片描述

验证服务是否启动成功

docker exec -it [c_id]/bin/bash
cd canal-server/bin/
./start.sh  // 启动服务
cd canal-server/logs/example/
tail -100f example.log  // 查看日志

在这里插入图片描述

2.3 安装Canal Adapter

# 启动docker
docker pull slpcat/canal-adapter:v1.1.4
docker run --name canal-adapter -id slpcat/canal-adapter:v1.1.4# 复制配置文件
docker cp canal-adapter:/opt/canal-adapter/conf /data/canal_/canal-dapter
docker cp canal-adapter:/opt/canal-adapter/logs /data/canal_/canal-dapter# 删除并重新启动
docker stop canal-adapter && docker rm canal-adapterdocker run --name canal-adapte -p 8081:8081 \
-v /data/canal_/canal-dapter/conf:/opt/canal-adapter/conf \
-v /data/canal_/canal-dapter/logs:/opt/canal-adapter/logs \
--network mynetwork \
-d slpcat/canal-adapter:v1.1.4

修改两处配置文件

配置文件取消注释一定要自己手动删除#，不要用快捷键。否则会导致文件格式出问题

配置文件详解
ClientAdapter: Canal的Adapter配置项目 application.ym（application.yml）
Sync ES：Canal的Adapter中ES同步的配置项 （user.yml）

修改配置文件application.yml。

在这里插入图片描述在这里插入图片描述
name logger就是在发生数据修改的时候，直接实时更新到log中，如下图在这里插入图片描述

修改完上述配置，可以看到name为es的canalAdapters被启动了。因此要去es文件夹下修改，注意以下字段的配置。目前只是能够运行起来，至于业务实际应用可能还有待验证。

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/36315.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

初识mysql数据库之引入mysql客户端库

初识mysql数据库之引入mysql客户端库

目录 一、下载第三方库 1. 准备工作 1. 使用mysql官网提供的库 2. yum源安装 二、测试第三方库是否可用 三、mysql常用接口介绍 1. 查看官方文档 2. 初始化 3. 关闭mysql 4. 连接mysql 5. 下达sql指令 四、一个简单的C客户端库连接mysql程序 1. 头文件 2. 初始化…
阅读更多...
Could not resolve host: mirrorlist.centos.org； Unknown error解决方法

Could not resolve host: mirrorlist.centos.org； Unknown error解决方法

今天服务器安装完CentOS系统后，安装网络的时候，出现无法联网yum yum -y install net-tools 以上代码无法运行并报错，这里我要提醒大家，如果在初始安装的时候选中安装网络工具模块就不用在安装net-tools了，因为我选中…
阅读更多...
vite跨域配置踩坑，postman链接后端接口正常，但是前端就是不能正常访问

vite跨域配置踩坑，postman链接后端接口正常，但是前端就是不能正常访问

问题一：怎么都链接不了后端地址 根据以下配置，发现怎么都链接不了后端地址，proxy对了呀。 仔细看，才发现host有问题 // 本地运行配置，及反向代理配置server: {host: 0,0,0,0,port: 80,// cors: true, // 默认启用并允…
阅读更多...
爆肝整理，性能测试方法与关键指标以及瓶颈定位思路，一篇贯通...

爆肝整理，性能测试方法与关键指标以及瓶颈定位思路，一篇贯通...

目录：导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结（尾部小惊喜） 前言 性能测试方法 1、…
阅读更多...
抓包工具Fiddler下载与安装

抓包工具Fiddler下载与安装

一、Fiddler介绍 1.Fiddler简介 Fiddler 是一款免费、灵活、操作简单、功能强大的 HTTP 代理工具，是目前最常用的 HTTP 抓包工具之一。可以抓取所有的 HTTP/HTTPS 包、过滤会话、分析请求详细内容、伪造客户端请求、篡改服务器响应、重定向、网络限速、断点调试等…
阅读更多...
数据结构刷题训练：队列实现栈

数据结构刷题训练：队列实现栈

目录 前言 1. 题目：使用队列实现栈 2. 思路 3. 分析 3.1 创建栈 3.2入栈 3.3 出栈 3.4 栈顶数据 3.5 判空和 “ 栈 ” 的销毁 4. 题解 总结 前言 我们已经学习了栈和队列，也都实现了它们各自的底层接口，那么接下我们就要开始栈和队列的专项刷…
阅读更多...
go内存管理机制

go内存管理机制

golang内存管理基本是参考tcmalloc来进行的。go内存管理本质上是一个内存池，只不过内部做了很多优化：自动伸缩内存池大小，合理切割内存块。 基本概念： Page：页，一块 8 K大小的内存空间。Go向操作系统申请和…
阅读更多...
2.Model、ModelMap和ModelAndView的使用详解

2.Model、ModelMap和ModelAndView的使用详解

1.前言 最近SSM框架开发web项目，用得比较火热。spring-MVC肯定用过，在请求处理方法可出现和返回的参数类型中，最重要就是Model和ModelAndView了，对于MVC框架，控制器Controller执行业务逻辑，用于产生模型数据…
阅读更多...
Spring Cloud构建微服务断路器介绍

Spring Cloud构建微服务断路器介绍

什么是断路器 断路器模式源于Martin Fowler的Circuit Breaker一文。“断路器”本身是一种开关装置，用于在电路上保护线路过载，当线路中有电器发生短路时，“断路器”能够及时的切断故障电路，防止发生过载、发热、甚至起火等严重后果…
阅读更多...
【Redis】使用Docker镜像配置集群时的Operation timed out问题

【Redis】使用Docker镜像配置集群时的Operation timed out问题

不知道有没有小伙伴跟我一样是使用的Docker镜像进行Redis集群案例模拟的（三台虚拟机确实带不动 ），然后我遇到了一个问题：Could not connect to Redis at 172.17.0.2:6379: Operation timed out 172.17.0.2是我其中一个Redis实例的…
阅读更多...
如何测试Linux磁盘的读写速度

如何测试Linux磁盘的读写速度

在Linux系统中也有很多命令可以测试硬盘的读写速度指标。以下是几个常用命令（注意：在执行测试命令之前，请务必备份数据以避免数据丢失！ 1、dd 命令 首先挂载磁盘 mount /dev/sdb /testdd 命令可用于进行硬盘读写速度测试。 例…
阅读更多...
android 开发中常用命令

android 开发中常用命令

1.反编译 命令&#xff1a;apktool d <test.apk> -o <folderdir> 其中&#xff1a;test.apk是待反编译文件的路径&#xff0c;folderdir是反编译后的文件的存储位置。 apktool d -f <test.apk> -o <folderdir> 注意&#xff1a;如果dir已经存在&am…
阅读更多...
【Sklearn】基于决策树算法的数据分类预测（Excel可直接替换数据）

【Sklearn】基于决策树算法的数据分类预测（Excel可直接替换数据）

【Sklearn】基于决策树算法的数据分类预测&#xff08;Excel可直接替换数据&#xff09; 1.模型原理1.1 模型原理1.2 数学模型 2.模型参数3.文件结构4.Excel数据5.下载地址6.完整代码7.运行结果 1.模型原理 决策树是一种基于树状结构的分类和回归模型&#xff0c;它通过一系列…
阅读更多...
MySql（干货）

MySql（干货）

写这篇博客的目的不是为了将介绍原理&#xff0c;而是为了Sql中的代码操作属实太多了&#xff0c;在这里进行一个汇总&#xff0c;方便查阅&#xff01;&#xff01;&#xff01; Sql分类 分类全称说明 DDL Data Definintion Language数据定义语言&#xff0c;用来定义数据库对…
阅读更多...
微信小程序（由浅到深）

微信小程序（由浅到深）

文章目录 一. 项目基本配置1. 项目组成2. 常见的配置文件解析3. app.json全局的五大配置4.单个页面中的page配置5. App函数6.tabBar配置 二. 基本语法&#xff0c;事件&#xff0c;单位1. 语法2. 事件3. 单位 三. 数据响应式修改四 . 内置组件1. button2. image3. input4. 组件…
阅读更多...
k8s常用资源管理 控制

k8s常用资源管理 控制

目录 Pod&#xff08;容器组&#xff09;&#xff1a;Pod是Kubernetes中最小的部署单元&#xff0c;可以包含一个或多个容器。Pod提供了一种逻辑上的封装&#xff0c;使得容器可以一起共享网络和存储资源 1、创建一个pod 2、pod管理 pod操作 目录 创建Pod会很慢 Pod&…
阅读更多...
什么是事务，并发带来的事务问题以及事务隔离级别（图文详解）

什么是事务，并发带来的事务问题以及事务隔离级别（图文详解）

一、什么是事务&#xff1f; 简单说就是逻辑上的一组操作&#xff0c;要么都执行&#xff0c;要么都不执行。 举个例子&#xff0c;假如小明要给小红转账100元&#xff0c;这个转账会涉及到两个关键操作&#xff1a;①将小明的余额减少100元。 ②将小红的余额增加100元 。但…
阅读更多...
学习笔记整理-JS-04-流程控制语句

学习笔记整理-JS-04-流程控制语句

文章目录 一、条件语句1. if语句的基本使用2. if else if多条件分支3. if语句算法题4. switch语句5. 三元运算符 二、循环语句1. for循环语句2. for循环算法题3. while循环语句4. break和continue5. do while语句 三、初识算法1. 什么是算法2. 累加器和累乘器3. 穷举法4. 综合算…
阅读更多...
设计模式（2）工厂方法模式

设计模式（2）工厂方法模式

一、 1、介绍&#xff1a;定义一个用于创建对象的接口&#xff0c;让子类决定实例化哪一个类。工厂方法使一个类的实例化延迟到其子类。简单工厂模式的最大优点在于工厂类中包含了必要的逻辑判断&#xff0c;根据客户端的选择条件动态实例化相关的类&#xff0c;对于客户端来说…
阅读更多...
odoo-034 float 浮点数比较

odoo-034 float 浮点数比较

文章目录 前提问题解决总结 前提 odoo 版本&#xff1a;13 python&#xff1a;3.6.9 问题 比较销售订单行中已送货跟已开票&#xff0c;在 tree 视图显示搜索后的结果。发现搜索条件为已送货 > 已开票时&#xff0c;结果中会包含已送货已开票的。 解决 把这两个值打印出…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023