黑马es数据同步mq解决方案

方式一:同步调用

        优点:实现简单,粗暴

        缺点:业务耦合度高

方式二:异步通知

        优点:低耦含,实现难度一般
        缺点:依赖mq的可靠性
方式三:监听binlog

        优点:完全解除服务间耦合

        缺点:开启binlog增加数据库负担、实现复杂度高

利用MQ实现mysql与elasticsearch数据同步

利用课前资料提供的hotel-admin项目作为酒店管理的微服务。当酒店数据发生增、删、改时,要求对elasticsearch中数据也要完成相同操作。

步骤:

导入课前资料提供的hotel-admin项目,启动并测试酒店数据的CRUD

1、声明exchange、queue、RoutingKey

@Configuration
public class MQConfig {@Beanpublic TopicExchange topicExchange(){return new TopicExchange(MqConstants.HOTEL_EXCHANGE,true,false);}@Beanpublic Queue insertQueue(){return new Queue(MqConstants.HOTEL_INSERT_QUEUE);}@Beanpublic Queue deleteQueue(){return new Queue(MqConstants.HOTEL_DELETE_QUEUE);}@Beanpublic Binding insertBinding(Queue insertQueue, TopicExchange topicExchange){return BindingBuilder.bind(insertQueue).to(topicExchange).with(MqConstants.HOTEL_INSERT_KEY);}@Beanpublic Binding deleteBinding(Queue deleteQueue, TopicExchange topicExchange){return BindingBuilder.bind(deleteQueue).to(topicExchange).with(MqConstants.HOTEL_DELETE_KEY);}
}

2、在hotel-admin中的增、删、改业务中完成消息发送

@PostMappingpublic void saveHotel(@RequestBody Hotel hotel){hotelService.save(hotel);rabbitTemplate.convertAndSend(MqConstants.HOTEL_EXCHANGE,MqConstants.HOTEL_INSERT_KEY,hotel.getId());}@PutMapping()public void updateById(@RequestBody Hotel hotel){if (hotel.getId() == null) {throw new InvalidParameterException("id不能为空");}hotelService.updateById(hotel);rabbitTemplate.convertAndSend(MqConstants.HOTEL_EXCHANGE,MqConstants.HOTEL_INSERT_KEY,hotel.getId());}@DeleteMapping("/{id}")public void deleteById(@PathVariable("id") Long id) {hotelService.removeById(id);rabbitTemplate.convertAndSend(MqConstants.HOTEL_EXCHANGE,MqConstants.HOTEL_DELETE_KEY,id);}

3、在hotel-demo中完成消息监听,并更新elasticsearch中数据

@Component
public class HotelListener {@Autowiredprivate IHotelService iHotelService;/*** 监听酒店新增或修改* @param id*/@RabbitListener(queues = MqConstants.HOTEL_INSERT_QUEUE)public void listenHotelInsertOrUpdate(Long id){iHotelService.insertById(id);}/*** 监听酒店删除* @param id*/@RabbitListener(queues = MqConstants.HOTEL_DELETE_QUEUE)public void listenHotelDelete(Long id){iHotelService.deleteById(id);}
}
@Overridepublic void insertById(Long id) {try {//根据id查酒店数据Hotel hotel = getById(id);HotelDoc hotelDoc = new HotelDoc(hotel);//转换成文档接收的格式//1、准备Request对象IndexRequest request = new IndexRequest("hotel").id(hotelDoc.getId().toString());//2、准备Json文档request.source(JSON.toJSONString(hotelDoc),XContentType.JSON);//转换成JSON并发送//3、发送client.index(request,RequestOptions.DEFAULT);} catch (IOException e) {throw new RuntimeException(e);}}@Overridepublic void deleteById(Long id) {try {DeleteRequest request = new DeleteRequest("hotel");request.id(id.toString());log.info("删除!"+id);client.delete(request,RequestOptions.DEFAULT);} catch (IOException e) {throw new RuntimeException(e);}}

4、启动并测试数据同步功能

        该项目分成两个部分,一个hotel-demo,一个hotel-admin,分别代表管理端和客户端。具体同步流程即:

        客户端 修改/新增/删除 某酒店时,发送id到mq对应操作的队列中,即上文的第二步

        客户端监听到消息后,便同步操作es,即上文的第三步

        过程收获:es和mysql一样都是数据库管理系统,只是在存储方式、数据类型等方面不一样。把这个过程理解为操作两个不同语言的数据库的同步操作,用mq作为中间件,就很好理解了。

        其中插入操作是相对有点麻烦的:

IndexRequest request = new IndexRequest("hotel").id(hotelDoc.getId().toString());

这段代码是用于创建一个索引请求(IndexRequest),用于将数据存储到名为"hotel"的Elasticsearch索引中。具体解释如下:

        1. IndexRequest("hotel"):表示要将数据索引到名为"hotel"的索引中。在Elasticsearch中,索引类似于数据库中的表,用于存储和组织数据。

        2. id(hotelDoc.getId().toString()):设置要存储的文档的唯一标识符,即文档的ID。这里使用hotelDoc对象的ID属性,并将其转换为字符串形式。在Elasticsearch中,每个文档都有一个唯一的ID,用于区分不同的文档。

        综合起来,这段代码的作用是创建一个索引请求,将hotelDoc对象(可能是一个酒店文档)存储到名为"hotel"的Elasticsearch索引中,并指定文档的唯一ID。

        此时如果对应id已存在数据,则覆盖

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/19073.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

深度学习创新点不大但有效果,可以发论文吗?

深度学习中创新点比较小,但有效果,可以发论文吗?当然可以发,但如果想让编辑和审稿人眼前一亮,投中更高区位的论文,写作永远都是重要的。 那么怎样“讲故事”才能让论文更有吸引力?我总结了三点…

【Python】解决Python报错:TypeError: ‘int‘ object is not iterable

🧑 博主简介:阿里巴巴嵌入式技术专家,深耕嵌入式人工智能领域,具备多年的嵌入式硬件产品研发管理经验。 📒 博客介绍:分享嵌入式开发领域的相关知识、经验、思考和感悟,欢迎关注。提供嵌入式方向…

PESocket客户端链接服务器出现The requested operation caused a stack overflow.

注意服务器启动、设置日志的顺序:服务先启动、设置日志后启动 bug描述:先设置服务器的日志,在启动服务器,具体代码如下,启动后出现The requested operation caused a stack overflow. //客户端服务器设置日志client.S…

操作系统真象还原:编写MBR主引导记录,让我们开始掌权

第2章-编写MBR主引导记录,让我们开始掌权 这是一个网站有所有小节的代码实现,同时也包含了Bochs等文件 在开机的一瞬间,也就是接电的一瞬间, CPU 的 CS: ip 寄存器被强制初始化为 0XF000: 0XFFF0。由于开机的时候处于实模式&…

JS函数高级技巧之纯函数、高级函数、懒函数和函数组合

纯函数 首先,纯函数要满足两个条件: 给相同的参数返回相同的结果;不产生任何副作用 function double(num){return num * 2 }只要给num的值不变,它返回的结果也不会变,而且这个函数执行的过程中没有对外界造成影响&…

一款开箱即用的Markdown 编辑器!【送源码】

开源的 Markdown 编辑器 Cherry Markdown Editor 是一款前端-markdown-编辑器-组件,具有开箱即用、轻量简洁、易于扩展等特点,它可以运行在浏览器或服务端 (NodeJs). 当 Cherry Markdown 编辑器支持的语法不满足开发者需求时,可以快速的进行…

【Python】解决Python报错:TypeError: ‘xxx‘ object is not subscriptable

🧑 博主简介:阿里巴巴嵌入式技术专家,深耕嵌入式人工智能领域,具备多年的嵌入式硬件产品研发管理经验。 📒 博客介绍:分享嵌入式开发领域的相关知识、经验、思考和感悟,欢迎关注。提供嵌入式方向…

oracle11g rac 修改spfile

今天一套环境,发现2个节点的spfile不一致,正好有停机时间就修改spfile配置 SYSorcl1> show parameter spfile NAME TYPE VALUE ------------------------------------ ----------- ------------------------------ spfile …

软件无线电学习-发射机体系结构

本文知识内容摘自《软件无线电原理和应用》 软件无线电主要由发射机和接收机两大部分组成。软件无线电发射机的主要功能是把需发射或传输的用户信息(话音、数据或图像)经基带处理(完成诸如FM、AM、FSK、PSK、MSK、QAM 等调制)和上变频,调制到规定的载频(中心频率)上…

.NET Core NPOI导出Word,浏览器下载

后台 public MemoryStream GetLavPrintMS(InvPrintDTO dto){using var ms new MemoryStream();string sqlStr "";var table GetDataTable(sqlStr);var list DataTableHelper.DataTableToList<DTO>(table);var doc CreateWordData(list);doc.Write(ms);byt…

Gir clone 设置代理与错误

git查看、配置、删除代理 link git config --global https.proxy http://127.0.0.1:1080 git config --global http.proxyhttps://stackoverflow.com/questions/11265463/reset-git-proxy-to-default-configuration git config --global --unset http.proxy git config --gl…

SpringMVC 数据映射VC

从 view 层发送请求到Controller&#xff0c;在Controller中获取参数&#xff1a; 在不输入值时会报400&#xff0c;参数错误 在不输入值时num默认为null 没有找到对应标签名称叫nums的&#xff0c;输入任何值时都报400 设置required默认值为false&#xff0c;即使表单没有nums…

[每日一练]查询从不订购的客户(标量子查询)

该题目来源于力扣&#xff1a; 183. 从不订购的客户 - 力扣&#xff08;LeetCode&#xff09; 题目要求&#xff1a; Customers 表&#xff1a; ---------------------- | Column Name | Type | ---------------------- | id | int | | name | varc…

基于似然场的快速避障算法

系列文章目录 提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加 TODO:写完再整理 文章目录 系列文章目录前言相同思想的采样概率评估快速避障算法前言 认知有限,望大家多多包涵,有什么问题也希望能够与大家多交流,共同成长! 本文先对基于似然场的快速…

基于Centos7 安装k8s一主两从

一、资源准备 mac下虚拟机环境搭建 1、使用搜狐的iso源 http://mirrors.sohu.com/centos/7.5.1804/isos/x86_64/CentOS-7-x86_64-Minimal-1804.iso 下载 iso镜像。 2、https://www.macwk.com/soft/vmware 下载 mac vm虚拟机 3、搭建一主两从集群所需虚拟机 4、新建虚拟机…

油烟净化器清新餐饮生活,助力打造绿色餐饮

我最近分析了餐饮市场的油烟净化器等产品报告&#xff0c;解决了餐饮业厨房油腻的难题&#xff0c;更加方便了在餐饮业和商业场所有需求的小伙伴们。 在现代餐饮行业中&#xff0c;油烟净化器已经成为不可或缺的一部分。它不仅是环保设备&#xff0c;更是保障餐饮卫生健康的关…

python的可选择起点顺序执行

提出需求&#xff1a;由输入的参数决定程序开始执行的位置&#xff0c;并执行至结束 场景demo&#xff1a;一个包含了以下步骤的图像处理函数&#xff0c; step0&#xff1a;相机采图 step1&#xff1a;灰度转换 step2&#xff1a;二值转换 step3&#xff1a;查找轮廓 st…

php反序列化初步了解

一、定义 序列化&#xff08;串行化&#xff09;&#xff1a;将变量转换为可保存或传输的字符串的过程&#xff08;通常是字节流、JSON、XML格式&#xff09; 反序列比&#xff08;反串行化&#xff09;&#xff1a;把这个字符串再转化成原始数据结构或对象&#xff08;原来的…

长安链使用Golang编写智能合约教程(一)

长安链是分2.1.和2.3.两个版本&#xff0c;本节面说的是2.1.的版本 需要2.3.版本的合约&#xff0c;请看教程&#xff08;二&#xff09;&#xff01; 教程&#xff08;二&#xff09;我会写如何查历史数据 教程二&#xff1a;&#xff08;长安链2.3.的版本的智能合约编写&…

在WHM中如何调整max_post_size参数大小

今日我们在搭建新网站时需要调整一下PHP参数max_post_size 的大小&#xff0c;我们公司使用的Hostease的美国独立服务器产品默认5个IP地址&#xff0c;也购买了cPanel面板&#xff0c;因此联系Hostease的技术支持&#xff0c;寻求帮助了解到如何在WHM中调整PHP参数&#xff0c;…