Canal mysql数据库同步到es

Canal与Elasticsearch集成指南

[可视化工具](https://knife.blog.csdn.net/article/details/126348055)

下载Canal 1.1.5版本 (alpha-2)

请从GitHub Releases下载Canal 1.1.5版本中间版本alpha-2。仅需下载canal.deployercanal.adapter组件。

安装Elasticsearch

确保已安装Elasticsearch 7.10.0 Windows x86_64版本。

配置Canal Deployer

编辑文件路径为F:\cxes\canal.deployer-1.1.5-SNAPSHOT\conf\example的配置文件:

canal.instance.master.address=127.0.0.1:3306   # 数据库地址
canal.instance.dbUsername=root                # 数据库账号
canal.instance.dbPassword=root                # 数据库密码

配置Canal Adapter

修改bootstrap.yml
编辑文件路径为F:\cxes\canal.adapter-1.1.5-SNAPSHOT\conf\bootstrap.yml的配置文件如下:

server:port: 8081
spring:jackson:date-format: yyyy-MM-dd HH:mm:sstime-zone: GMT+8default-property-inclusion: non_nullcanal.conf:mode: tcp # kafka rocketMQcanalServerHost: 127.0.0.1:11111batchSize: 500syncBatchSize: 1000retries: 0srcDataSources:defaultDS:   # 数据源名称url: jdbc:mysql://127.0.0.1:3306/newdata?useUnicode=trueusername: rootpassword: rootcanalAdapters:- instance: example # canal instance Name or mq topic namegroups:- groupId: g1outerAdapters:- name: logger- name: es7    # es7文件目录hosts: 127.0.0.1:9200  # ES的访问地址properties:mode: rest     # 配置es7cluster.name: elasticsearch     # ES的名称

修改ES7配置

编辑文件路径为F:\cxes\canal.adapter-1.1.5-SNAPSHOT\conf\es7的配置文件如下:

dataSourceKey: defaultDS # 源数据源的key, 对应上面配置的srcDataSources中的值
destination: example     # canal的instance或者MQ的topic
groupId: g1             # 对应MQ模式下的groupId, 只会同步对应groupId的数据
esMapping:_index: order_20241129 # es 的索引名称_id: _id               # es 的_id, 如果不配置该项必须配置下面的pk项_id则会由es自动分配sql: "SELECT id as _id,NAMES AS frame_order_code,phton AS buyer_id,msg AS buyer_nameFROM jiedao"        # sql映射commitBatch: 3000                 # 提交批大小

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/61672.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LeetCode41:缺失的第一个正数

原题地址:41. 缺失的第一个正数 - 力扣(LeetCode) 题目描述 给你一个未排序的整数数组 nums ,请你找出其中没有出现的最小的正整数。 请你实现时间复杂度为 O(n) 并且只使用常数级别额外空间的解决方案。 示例 1: 输入…

Python蒙特卡罗MCMC:优化Metropolis-Hastings采样策略Fisher矩阵计算参数推断应用—模拟与真实数据...

全文链接:https://tecdat.cn/?p38397 本文介绍了其在过去几年中的最新开发成果,特别阐述了两种有助于提升 Metropolis - Hastings 采样性能的新要素:跳跃因子的自适应算法以及逆 Fisher 矩阵的计算,该逆 Fisher 矩阵可用作提议密…

相机学习笔记——工业相机的基本参数

0、相机分类 图像颜色不同可以分为黑白相机和彩色相机:相同分辨率下,黑白工业相机相比彩色工业相机精度更高,检测图像边缘时,黑白工业相机成像效果更好。 芯片类型不同可以分为CCD相机和CMOS相机:CCD工业相机具有体积小…

SpringBoot Web 开发请求参数

SpringBoot Web 开发请求参数 简单的 web 请求: @RestController public class HelloController {@RequestMapping("sayHello")public String sayHello(){System.out.println("Hello World");return "hello world";} }获取请求参数 简单参数…

服务器如何隐藏端口才能不被扫描?

在服务器上隐藏端口以避免被扫描,是一种增强安全性的措施。虽然完全隐藏端口不太可能(因为网络通信本质上需要暴露端口),但可以通过一系列技术手段尽量降低端口被扫描或探测的可能性。以下是详细的实现方法: 1. 更改默…

Oracle—系统包使用

文章目录 系统包dbms_redefinition 系统包 dbms_redefinition 功能介绍:该包体可以实现将Oracle库下的表在线改为分区结构或者重新定义; 说明:在检查表是否可以重定义和开始重定义的过程中,按照表是否存在主键,参数 o…

专业清洁艺术,还原生活本色——友嘉高效除菌洗碗机

生活中,每个人都渴望拥有一份洁净的生活环境。而家,作为我们最温馨的港湾,对洁净的追求更是无时无刻不在进行。每当饭后的欢声笑语过后,面对一堆沾满油渍、藏匿着细菌的餐具,我们不禁感到一丝烦忧。然而,有…

Neo4j 图数据库安装与操作指南(以mac为例)

目录 一、安装前提条件 1.1 Java环境 1.2 Homebrew(可选) 二、下载并安装Neo4j 2.1 从官方网站下载 2.1.1 访问Neo4j的官方网站 2.1.2 使用Homebrew安装 三、配置Neo4j 3.1 设置环境变量(可选) 3.2 打开配置文件(bash_profile) 3.2.1 打开终端…

无人机主控芯片技术与算法详解!

一、无人机主控芯片核心技术 高性能CPU: 无人机需要高性能的CPU来处理复杂的飞行控制算法、图像处理和数据传输等任务。目前,无人机的CPU主要有大疆自研的飞控系统、高通提供的无人机设计平台Snapdragon Flight,以及基于开源平台APM、Px4等…

基于python的汽车数据爬取数据分析与可视化

一、研究背景 基于提供的代码片段和讨论,我们可以得出一个与网络抓取、数据处理和数据可视化相关的研究背景,该背景涉及到汽车行业。以下是研究背景的陈述: "在迅速发展的汽车行业中,准确和及时的数据对各方利益相关者至关…

JAVA:Springboot 集成 WebSocket 和 STOMP 实时消息的技术指南

1、简述 随着互联网应用的复杂性和实时性需求的增加,传统的 HTTP 请求响应模式已不能满足某些场景的需求。WebSocket 和 STOMP 协议为构建实时消息传输提供了极大的便利。本文将介绍如何在 Spring Boot 中使用 WebSocket 和 STOMP 创建一个实时消息应用&#xff0c…

vue3+ant design vue实现日期选择器默认显示当前年,并限制用户只能选择当前年及之前~

1、思路:之前想拿当前年直接做赋值操作,实际上是行不通的,因为组件本身有数据格式限制,会出现报错,然后索性直接获取当前日期(YYYY-MM-DD)赋值给日期组件,这样不管你用的是年&#x…

Vue.js 中的事件处理

在 Vue.js 中,事件处理是用户与应用交互的重要方式。Vue.js 允许开发者以一种声明式的方式来绑定事件监听器,这使得代码更加简洁和易于维护。本文将介绍 Vue.js 中的事件处理,包括常用的事件类型和如何使用它们。 Vue.js 事件基础 在 Vue.j…

Kafka2.2.0集群安装

Kafka2.2.0 三节点集群搭建 Kafka2.2.0 基于zookeeper搭建,这里也搭建一个三个节点的集群。(在一个节点模拟三节点,真实的三节点把ip替换一下即可,按照hadoop案件把网络打通即可) 1、下载解压 Kafka 安装包官方下载地址 ,本用例…

Vue文字转语音实现

在开发流程中,面对语音支持的需求,小规模语音内容或许可以通过预处理后播放来轻松应对,但当涉及大量语音时,这一方法就显得繁琐低效了。为此,智慧的开发者们总能找到便捷的解决方案——利用Web技术实现语音播放&#x…

AD软件如何快速切换三维视图,由2D切换至3D,以及如何恢复

在Altium Designer软件中,切换三维视图以及恢复二维视图的操作相对简单。以下是具体的步骤: 切换三维视图 在PCB设计界面中,2D切换3D,快捷键按住数字键盘中的“3”即可切换; 快捷键ctrlf(或者vb快捷键也…

人工智能-卷积神经网络(学习向)

一.概述; 卷积神经网络(Convolutional Neural Network, CNN)是一种专门用于处理具有类似网格结构的数据(如图像)的深度学习模型。 主要用于处理机器视觉任务。 主要功能; 1.图像分类 2.目标检测 3.图像分割…

ABE 中的隐藏属性:DIPPE(去中心化内积谓词加密)

1. 引言 相关论文有: Yan Michalevsky 和 Marc Joye 2018年论文 Decentralized policy-hiding ABE with receiver privacy,发表于23rd European Symposium on Research in Computer Security, ESORICS 2018。Amit Sahai 和 Brent Waters 2005年论文 Fu…

深入了解阿里云 OSS:强大的云存储解决方案

在现代互联网应用中,数据存储是一个不可忽视的环节。随着数据量的不断增长,传统的存储方式已经无法满足高速、低成本、大容量的需求。阿里云 OSS(对象存储服务)作为一种高性能、低成本且具备高度扩展性的云存储服务,已…

vue和react的diff算法区别?

Vue和React都使用了虚拟DOM和diff算法来优化渲染性能。但是它们在diff算法的实现上有一些区别。 Vue的patch过程: Vue的diff算法是基于snabbdom修改而来,但Vue进行了优化,例如使用了一个队列来批处理节点的更新,并对不同类型的节…