Elasticsearch-使用Logstash同步Mysql

1.安装logstash

es服务器版本必须和logstash版本一致 7.9.2

在/usr/local/src/下新建logstash文件夹,解压

下载logstash后查看是否安装成功,在logstash的bin目录下输入指令:

./logstash -e 'input { stdin { } } output { stdout {} }'

2.mysql-connect-java.jar下载以及配置mysql信息

进入logstash的bin目录下,新建文件夹mysql,在这个文件夹中存放配置信息

将mysql-connect-java.jar放入mysql中,版本要和mysql一致,用来进行数据库连接

创建mysql.conf,注意使用UTF-8字符集编码,否则报错

input {jdbc {# mysql 数据库链接,shop为数据库名jdbc_connection_string => "jdbc:mysql://43.143.207.96:3306/db0616?serverTimezone=Asia/Shanghai&useSSL=true&useUnicode=true&characterEncoding=UTF-8"# 用户名和密码jdbc_user => "root"jdbc_password => "qcBY@2021"# 驱动(即是数据库连接驱动jar包的路径)jdbc_driver_library => "/usr/local/src/logstash/logstash-7.9.2/bin/mysql/mysql-connector-java-5.1.38.jar"# 驱动类名jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"# 执行的sql 文件路径+名称statement_filepath => "/usr/local/src/logstash/logstash-7.9.2/bin/mysql/jdbc.sql"# 设置监听间隔  各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新#schedule => "* * * * *"# 索引类型type => "cm"}
}filter {json {source => "message"remove_field => ["message"]}
}output {elasticsearch {# ES的IP地址及端口hosts => ["43.143.207.96:9200"]# 索引名称index => "myuser"# 需要关联的数据库中有有一个id字段,对应类型中的iddocument_id => "%{id}"}stdout {# JSON格式输出codec => json_lines}
}

创建jdbc.sql,在文件中编写sql,这条sql会作为logstash执行sql进行同步

(sql语句不用写分号,写了会报错)

select * from student

3进入到logstash的bin目录下启动同步

./logstash -f mysql/mysql.conf

同步成功:

使用elasticsearch-head查看,其安装本地下载zip压缩包解压就可以

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/29212.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

WHAT - React 学习系列(二)

目录 一、官方介绍二、框架具体对比1. Next.js(Pages Router)2. Remix3. Gatsby4. Expo(用于原生应用)5. Next.js(App Router)Next.js App Router主要特性与 Pages Router 的对比 具体使用示例创建 App Router 项目目录结构示例示例代码 总结 这一篇主要…

文生视频AI工具汇总推荐

目录 Runway Gen-2 Pictory Pika Sora by OpenAI Clipchamp Etna 百度智能云 阿里云视频智能 完整使用报告 在当前的AI技术领域,视频生成工具的发展迅速,为用户提供了从文本到视频的多样化生成方式。以下是一些值得推荐的文生视频AI工具&#x…

NAND闪存市场彻底复苏

在全球内存市场逐渐走出阴霾、迎来复苏曙光之际,日本存储巨头铠侠(Kioxia)凭借敏锐的市场洞察力和及时的战略调整,成功实现了从生产紧缩到全面复苏的华丽转身。这一转变不仅彰显了企业在逆境中的生存智慧,也为全球半导…

OSPF 动态路由协议(思科、华为)

#交换设备 OSPF 动态路由协议 一、基本概念 1.中文翻译:开放式最短路径优先路由协议(open shortest path first),是一个内部网关路由协议(一个自治系统内)2.也称为:链路状态路由协议&#xf…

醉美酒话:承载着深厚文化底蕴的敬酒词

这些敬酒词凝聚了中华酒文化的精髓,每一句都体现了对美好愿景的深深祝愿,同时也展示了中文语言的丰富与魅力。 一、“步步高升”酒: 第一杯,酒至三分,象征着龙洒点滴、财运将至。我衷心祝愿您财富如江水般滚滚而来&a…

VirtualBox 安装UOS统信服务器操作系统

1、准备 1.1安装VirtualBox 由于过程简单,不做赘述! 1.2下载UOS服务器版本 下载免费版本即可 服务器与云计算操作系统-统信软件 (uniontech.com)https://uniontech.com/os-serverCloud.html 2、安装 2.1新建虚拟机 2.2选择虚拟机模式,这…

船舶行业信息安全解决方案介绍

船舶行业信息安全背景: 近年来随着经济复苏、疫情与国际形势影响国内外船舶海运业务蓬勃发展,在业务量激增的背景下出现多类信息安全事件。其中2017年,马士基集团遭到勒索软件攻击,内部业务系统和码头操作系统均受到严重影响&…

spring注解驱动系列-- spring容器创建原理

从源码开始探究spring容器的创建原理,下面是源码总步骤 Override public void refresh() throws BeansException, IllegalStateException {synchronized (this.startupShutdownMonitor) {// Prepare this context for refreshing.prepareRefresh();// Tell the subc…

利用反向代理编写HTTP抓包工具——可视化界面

手写HTTP抓包工具——可视化界面 项目描述语言golang可视化fynev2功能代理抓包、重发、记录 目录 1. 示例1.1 主界面1.2 开启反向代理1.3 抓包1.4 历史记录1.5 重发 2. 核心代码2.1 GUI2.1 抓包 3. 结语3.1 传送门 1. 示例 1.1 主界面 1.2 开启反向代理 1.3 抓包 1.4 历史记录…

刷题——链表中倒数最后k个结点

描述 输入一个长度为 n 的链表,设链表中的元素的值为 ai ,返回该链表中倒数第k个节点。 如果该链表长度小于k,请返回一个长度为 0 的链表。 数据范围:0≤𝑛≤1050≤n≤105,0≤𝑎&#x1d456…

两行css 实现瀑布流

html <ul ><li><a href"" ><img src"05094532gc6w.jpg" alt"111" /><p>传奇</p></a></li><li><a href"" ><img src"05094532gc6w.jpg" alt"111"…

在mysql中GROUP_CONCAT字段的作用

在 MySQL 中&#xff0c;GROUP_CONCAT 函数用于将分组中的多个值连接成一个字符串。这对于将同一组内的多个行的值合并成单个结果特别有用。以下是详细的说明和使用示例&#xff1a; 1. 基本用法 GROUP_CONCAT 的基本语法如下&#xff1a; GROUP_CONCAT([DISTINCT] column_n…

汽车EDI:波森Boysen EDI项目案例

企业A作为Boysen 的供应商&#xff0c;为了响应Boysen的号召&#xff0c;需要与其实现EDI对接。由于企业A此前并没有EDI项目的实施经验&#xff0c;对EDI项目的实施流程、技术要求等内容不知道应该从何下手。 为了实现EDI对接意味着企业A需要具备自己的EDI系统&#xff0c;从而…

佑友FHQ backup 后台任意文件读取漏洞复现

0x01 产品简介 佑友FHQ是一款专业的网络安全设备,用于保护企业网络免受各种网络威胁和攻击。其功能包括流量过滤、入侵检测与阻断、应用程序控制、虚拟专用网络(VPN)支持等。通过深度包检测和实时流量分析,佑友防火墙能够及时识别和阻止潜在的威胁,提供全面的安全保护。同…

vue中axios从content-disposition响应头获取中文名

在Vue中使用axios请求文件时&#xff0c;服务器可能会返回带有Content-Disposition响应头的文件&#xff0c;其中可能包含文件名的编码信息。如果你需要解码这个文件名&#xff0c;可以使用JavaScript的内置URL API来处理。 Java中用于设置HTTP响应头的&#xff0c;通常在Web开…

浏览器开发公司Brave 将自己的搜索结果与其 Leo AI 助手集成

Brave Software是一家开发浏览器的公司&#xff0c;其主要产品是Brave浏览器。Brave浏览器基于Chromium项目开发&#xff0c;具有高性能和隐私保护的特点。此外&#xff0c;Brave浏览器还提供了“off record”模式&#xff0c;允许用户在不记录浏览历史的情况下使用浏览器。关于…

C# Secs源码 HsmsSecs测试

包含客户端和服务端 启动客户端和服务端即可互相模拟sece 通讯 也可使用secs仿真器进行测试 开启后进行相关操作&#xff0c;创建客户端连接仿真器进行操作 仿真器显示日志 相关文件&#xff0c;源码 4.9 私信即可或者看我博客描述那个地址 我是狗子&#xff0c;希望你幸…

学习java第一百天

请解释Spring中的事务管理&#xff1f; 事务管理是确保数据完整性和一致性的重要机制。在Spring框架中&#xff0c;事务管理可以通过声明式事务管理或编程式事务管理来实现。声明式事务管理允许我们将事务管理逻辑与业务逻辑分离&#xff0c;让Spring容器自动处理事务的开启、提…

在ubuntu中创建容器并挂载windows共享的文件

Ubuntu关闭防火墙的方法如下&#xff1a; 打开终端&#xff0c;输入 sudo ufw status 回车&#xff0c;查看防火墙状态&#xff0c;inactive是关闭&#xff0c;active是开启。使用 sudo ufw enable 开启防火墙。使用 sudo ufw disable 关闭防火墙。打开“系统设置”&#xff…

广东工业大学领导一行莅临泰迪智能科技参观交流

6月13日&#xff0c;广东工业大学经济学院党委书记林伟英、经济学院党委副书记陈朝阳、党政办主任徐嘉靖、数学与统计学院徐圣兵莅临泰迪智能科技产教融合实训中心参观交流。泰迪智能科技董事长张良均、运营中心总监翁梦婷、校企合作经理吴桂锋进行了热情接待。 会上&#xff0…