JAVA 中间件之 Mycat2

Mycat2应用与实战教程

1.Mycat2概述

1.1 什么是MyCat

官网： http://mycatone.top/

Mycat 是基于 java 语言编写的数据库中间件，是一个实现了 MySQL 协议的服务器，前端用户可以把它看作是一个数据库代理，用 MySQL 客户端工具和命令行访问，而其后端可以用 MySQL 原生协议与多个 MySQL 服务器通信，也可以用 JDBC 协议与大多数主流数据库服务器通信，其核心功能是分库分表和读写分离，即将一个大表水平分割为 N 个小表，存储在后端 MySQL 服务器里或者其他数据库里。

MyCat 是基于阿里开源的 Cobar 产品而研发，Cobar 的稳定性、可靠性、优秀的架构和性能以及众多成熟的使用案例使得 MyCat 变得非常的强大。

image.png

Mycat对于我们Java程序员来说,就是一个近似等于 MySQL 的数据库服务器，你可以用连接 MySQL 的方式去连接 Mycat（除了端口不同，默认的Mycat 端口是 8066 而非MySQL 的 3306，因此需要在连接字符串上增加端口信息）。

1.2 Mycat的作用

1.2.1 数据分片

数据分片包括里：垂直分片和水平分片，垂直分片包括：垂直分库和垂直分表，水平分片包括： 水平分库和水平分表。

1）垂直分库

  • 数据库中不同的表对应着不同的业务，垂直切分是指按照业务的不同将表进行分类,分布到不同的数据库上面
  • 将数据库部署在不同服务器上，从而达到多个服务器共同分摊压力的效果

image.png

2）垂直分表

表中字段太多且包含大字段的时候，在查询时对数据库的IO、内存会受到影响，同时更新数据时，产生的binlog文件会很大，MySQL在主从同步时也会有延迟的风险。

  • 将一个表按照字段分成多表，每个表存储其中一部分字段。
  • 对职位表进行垂直拆分, 将职位基本信息放在一张表, 将职位描述信息存放在另一张表

image.png

œ垂直拆分带来的一些提升

  • 解决业务层面的耦合，业务清晰
  • 能对不同业务的数据进行分级管理、维护、监控、扩展等
  • 高并发场景下，垂直分库一定程度的提高访问性能
  • 垂直拆分没有彻底解决单表数据量过大的问题

3) 水平分库

  • 将单张表的数据切分到多个服务器上去，每个服务器具有相应的库与表，只是表中数据集合不同。 水平分库分表能够有效的缓解单机和单库的性能瓶颈和压力，突破IO、连接数、硬件资源等的瓶颈.

    image.png

    简单讲就是根据表中的数据的逻辑关系，将同一个表中的数据按照某种条件拆分到多台数据库（主机）上面, 例如将订单表 按照id是奇数还是偶数, 分别存储在不同的库中。

4) 水平分表

  • 针对数据量巨大的单张表（比如订单表），按照规则把一张表的数据切分到多张表里面去。 但是这些表还是在同一个库中，所以库级别的数据库操作还是有IO瓶颈。

    image.png

总结

  • 垂直分表: 将一个表按照字段分成多表，每个表存储其中一部分字段。
  • 垂直分库: 根据表的业务不同,分别存放在不同的库中,这些库分别部署在不同的服务器.
  • 水平分库: 把一张表的数据按照一定规则,分配到不同的数据库,每一个库只有这张表的部分数据.
  • 水平分表: 把一张表的数据按照一定规则,分配到同一个数据库的多张表中,每个表只有这个表的部分数据.

1.2.2 读写分离

读写分离指的是：主库负责处理事务性的增删改操作，从库负责处理查询操作，能够有效的避免由数据更新导致的行锁，使得整个系统的查询性能得到极大的改善。

注意: 读写分离的数据节点中的数据内容是一致，所以要先搭建主从复制架构

image.png

1.2.3 多数据源整合

Java工程里需要同时控制(连接)多个数据源：

  1. 业务需要。比如项目里要实现两个DB的双写/数据迁移，或者微服务边界划分不清使得一个工程直连了多个DB。
  2. 读写分离。大型一点的网站，为了提升DB的吞吐量和性能以及高可用性，数据库一般都会采用集群部署（1个Master+N个Slave模式）。
  3. NoSQL数据库。使用NOSQL数据库存储大量的一次性非业务数据，比如日志类的数据

image.png

1.3 Mycat与ShardingJDBC的区别

  1. mycat是一个中间件的第三方应用，sharding-jdbc是一个jar包
  2. 使用mycat时不需要修改代码，而使用sharding-jdbc时需要修改代码
  3. Mycat 是基于 Proxy，它复写了 MySQL 协议，将 Mycat Server 伪装成一个 MySQL 数据库，而 Sharding-JDBC 是基于 JDBC 的扩展，是以 jar 包的形式提供轻量级服务的。

  • Mycat(proxy中间件层)

    image.png

  • Sharding-jdbc(应用层):

    image.png

1.4 Mycat2新特性

Mycat2的提升：

image.png

新特性总结

  • 多语句，指的是可以批量执行建表语句
  • 支持blob，blob二进制大对象
  • 全局二级索引,用全局二级索引后,能有效减少全表扫描,对于减少连接使用,减少计算节点与存储节点的数据传输有帮助.
  • 支持任意跨库跨表join查询
  • 支持跨库跨表的关联子查询
  • 支持分库同时分表，把分库分表合一，统一规划
  • 存储过程： 存储过程支持多结果集返回、支持接收affectRow
  • 支持逻辑视图
  • 支持批量插入： 支持rewriteInsertBatchedStatementBatch参数（设置为true），用于提高批量插入性能。
  • 支持执行计划管理：Mycat2的执行计划管理主要作用是管理执行计划，加快SQL到执行计划的转换。
  • 路由注释，Mycat2对于路由注释的支持更加快捷方便，减少繁琐的配置
  • 自动hash分片算法： 由1.6版本的手动配置算法，到2.0的自动hash分
  • 支持第三方工具
  • 单表映射物理表，可以直接将单表映射到物理表，更快速的创建数据库表
  • XA事务，首先数据库要支持XA事务
  • 支持MySQL8

2.环境准备

2.1 准备测试环境

1）搭建两台虚拟机，分别部署MySQL和Mycat2

  • 192.168.58.100服务器上的MySQL要部署到docker中，方便后面我们快速搭建MySQL集群， 并且MySQL的版本使用MySQL8。
  • 192.168.58.200服务器，安装Mycat2之前要安装JDK，并且必须选择JDK1.8 避免出现其他问题。

image.png

2.2 Docker基本使用

1）安装docker

# 1、yum 包更新到最新 
yum update# 2、安装需要的软件包， yum-util 提供yum-config-manager功能，另外两个是devicemapper驱动依赖的 
yum install -y yum-utils device-mapper-persistent-data lvm2# 3、 设置yum源
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo# 4、 安装docker，出现输入的界面都按 y 
yum install -y docker-ce# 5、 查看docker版本，验证是否验证成功
docker -v

2）镜像加速方案

默认情况，将从docker hub（https://hub.docker.com/）下载docker镜像太慢，一般都会配置镜像加速器；

建议配置阿里云镜像加速，编辑该文件：

vim /etc/docker/daemon.json

在该文件中输入如下内容：

{"registry-mirrors": ["https://3ad96kxd.mirror.aliyuncs.com"]
}

配置完成记得刷新配置

sudo systemctl daemon-reload
sudo systemctl restart docker

3）镜像相关命令

  • 查看镜像 docker images
  • 搜索镜像 docker search imageName
  • 拉取镜像 docker pull imageName：version
  • 删除镜像 docker rmi imageId rmi–>remove Image

4）查看容器

查看正在运行的容器

docker ps

查看所有容器（查看正在运行的和已经停止运行的）

docker ps –a
docker ps -all

查看最后一次运行的容器

docker ps –l

查看停止的容器

docker ps -f status=exited

5）创建容器命令

docker run 参数 镜像名称:镜像标签 /bin/bash

创建容器常用的参数说明：

-i：表示运行容器,如果不加该参数那么只是通过镜像创建容器，而不启动。-t：表示容器启动后会进入其命令行。加入这两个参数后，容器创建就能登录进去。即分配一个伪终端(如果只加it两个参数，创建后就会自动进去容器)。-d：在run后面加上-d参数,则会创建一个守护式容器在后台运行（这样创建容器后不会自动登录容器）。--name :为创建的容器命名。-v：表示目录映射关系（前者是宿主机目录，后者是映射到宿主机上的目录），可以使用多个－v做多个目录或文件映射。注意：最好做目录映射，在宿主机上做修改，然后共享到容器上。-p：表示端口映射，前者是宿主机端口，后者是容器内的映射端口。可以使用多个-p做多个端口映射，例如：可以将Docker中Tomcat容器的8080端口映射到宿主机上的某一个端口8080，那么以后访问tomcat只需要：http://宿主机的IP：8080/进入容器之后，初始化执行的命令：/bin/bash；可写可不写

6) 删除指定的容器，正在运行的容器无法删除

#删除容器
docker rm 容器名称（容器ID）
#删除镜像
docker rmi 镜像ID(镜像名称)

2.3 Docker部署单机MySQL

  1. 搜索mysql镜像
docker search mysql
  1. 拉取 mysql8 镜像
 docker pull mysql:8.0.29
  1. 使用docker方式创建MySQL服务器

**注意：**如果此时防火墙是开启的，则先关闭防火墙，并重启docker，否则后续安装的MySQL无法启动

#关闭docker
systemctl stop docker#关闭防火墙
systemctl stop firewalld#永久关闭
systemctl disable firewalld #启动docker
systemctl start docker

在docker中创建并启动MySQL服务器：端口3310

docker run -d \
-p 3310:3306 \
-v /msb/mysql/conf:/etc/mysql/conf.d \
-v /msb/mysql/data:/var/lib/mysql \
-e MYSQL_ROOT_PASSWORD=123456 \
--name msb-mysql \
mysql:8.0.29

参数说明：

  • -p 3310:3306：表示端口映射，前者是宿主机端口，后者是容器内的映射端口，将容器的 3306 端口映射到宿主机的 3310 端口。
  • -v /msb/mysql/conf:/etc/mysql/conf.d: 配置文件映射，：前面是宿主机目录，：后面是映射到宿主机上的文件，这样就可以在宿主机上做修改，然后共享到容器上
  • -v /msb/mysql/data:/var/lib/mysql ：数据文件目录映射，避免容器出现问题，导致数据丢失。
  • -e MYSQL_ROOT_PASSWORD=123456：初始化 root 用户的密码。
  • –name msb-mysql ：容器名称
  • mysql:8.0.29 ：镜像名称
  1. 进入容器，操作mysql
docker exec –it msb-mysql /bin/bash
  1. 使用Navicat连接容器中的mysql
    因为我们做了端口映射，所以连接的是192.168.58.100:3310

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/830564.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

HEVC/H.265视频编解码学习笔记–框架及块划分关系

HEVC/H.265视频编解码学习笔记–框架及块划分关系

前言 由于本人在学习视频的过程中，觉得分块单元太多搞不清楚其关系，因此本文着重记录这些分块单元的概念以及关联。 一、框架 视频为一帧一帧的图像，其编码的主要核心是压缩空间以及时间上的冗余。因此，视频编码有帧内预测和帧间…
阅读更多...
Linux 进程概念和状态

Linux 进程概念和状态

目录 一、冯诺依曼体系结构 二、操作系统 1.概念 2.理解操作系统的管理 硬件和管理 为什么要有操作系统 三、进程的概念 PCB： 进程的删除和子进程的创建 删除 创建子进程 四、进程的状态 七种状态： 实验查看部分状态： R&#x…
阅读更多...
如何把为知笔记导入到Notion笔记里面

如何把为知笔记导入到Notion笔记里面

💡 大家好，我是可夫小子，《小白玩转ChatGPT》专栏作者，关注AIGC、读书和自媒体。 为知笔记并不开放，笔记文件只能以pdf或者图片的方向导出来，无法与其他笔记文件相互导入导出，然而，稍…
阅读更多...
PCF应用切换至CAAS

PCF应用切换至CAAS

刚刚开通了一个公众号，会分享一些技术博客和自己觉得比较好的项目，同时会更新一些自己使用的工具和图书资料，后面会整理一些面试资料进行分享，觉得有兴趣的可以关注一下。 文章目录 前言打包镜像Dockerfile语法项目使用遇到的问题…
阅读更多...
屎里淘金，买二手显卡不翻车指南

屎里淘金，买二手显卡不翻车指南

马上五一了，应该也有不少小伙伴在摩拳擦掌想装机吧？ 但是奈何最近显卡疯涨，装机大头显卡还没搞定，想一步到位吧，感觉目前显卡都太贵了，没必要。 想向现实妥协吧，但是好像又有点心有不甘。 那…
阅读更多...
测试工程师——招聘分析

测试工程师——招聘分析

测试工程师 随着互联网行业的高速发展，快速高质量的产品版本迭代成为企业始终立于不败之地的迫切需求，而在短期迭代的快节奏中，传统测试工作面对更大压力，无法持续提供高效率高质量的人力支撑，所以越来越多的企业需要技术更为全面的测试开发工程师。测试开发 本质上属于测…
阅读更多...
【MATLAB源码-第201期】基于matlab的黏菌群优化算法(SMA)无人机三维路径规划，输出做短路径图和适应度曲线

【MATLAB源码-第201期】基于matlab的黏菌群优化算法(SMA)无人机三维路径规划，输出做短路径图和适应度曲线

操作环境： MATLAB 2022a 1、算法描述 黏菌优化算法（Slime Mould Algorithm, SMA）是一种新颖的启发式优化方法，其灵感来源于自然界中的真菌——黏菌。这种算法模拟了黏菌在寻找食物时的行为和网络形成策略。在本文中&#xff0c…
阅读更多...
触发器的启用和禁用

触发器的启用和禁用

Oracle从入门到总裁:​​​​​​https://blog.csdn.net/weixin_67859959/article/details/135209645 在 Oracle 数据库中，所创建的触发器可以根据情况，灵活修改它的状态，使其有效或者无效，即启用或者禁用。 其语法格式如下所示。…
阅读更多...
社区新零售：重构邻里生活圈，赋能美好未来

社区新零售：重构邻里生活圈，赋能美好未来

新时代的邻里脉动 在城市的肌理中，社区作为生活的基本单元，正经历一场由新零售引领的深刻变革。社区新零售，以其独特的商业模式、创新的技术手段和以人为本的服务理念，重新定义了社区商业的边界，重构了邻里生活的形态…
阅读更多...
CAD的DWG文件如何进行搜索文字

CAD的DWG文件如何进行搜索文字

1.目的 想搜索CAD文件中的数字或文字是否存在DWG文件中。 2.方法 方式1:菜单栏 编辑→查找 方式2：指令格式 图纸的左下侧→命令处，进行输入find→再按回车enter 3.结果
阅读更多...
开源AI智能名片商城小程序：深度解读IMC（IP、MarTech、Content）视角

开源AI智能名片商城小程序：深度解读IMC（IP、MarTech、Content）视角

在数字化浪潮中，私域流量的运营已成为企业不可或缺的增长引擎。而开源AI智能名片商城小程序，则是以一种全新的视角——IMC（IP、MarTech、Content），为企业打开私域流量运营的新篇章。今天，我们就来一起深入解…
阅读更多...
智慧农场系统 搭建重点，会用到哪些三方服务？

智慧农场系统 搭建重点，会用到哪些三方服务？

智慧农场小游戏的搭建重点主要集中在游戏设计、用户体验、数据安全和稳定性等方面。为了实现这些目标，可能会用到以下第三方服务： 游戏引擎和开发工具：使用成熟的游戏引擎和开发工具可以极大地简化开发流程，提高开发效率。例如&a…
阅读更多...
stm32cubeMX智能小车蓝牙模块

stm32cubeMX智能小车蓝牙模块

本文使用的代码是 HAL 库。 文章目录 前言一、蓝牙模块介绍二，AT指令测试蓝牙模块三，原理图分析四，cubeMX 配置五，编写代码总结 前言 实验小车：STM32F103C8T6。 蓝牙模块：HC-05。 所需软件：kei…
阅读更多...
Rust中的并发性：Sync 和 Send Traits

Rust中的并发性：Sync 和 Send Traits

在并发的世界中，最常见的并发安全问题就是数据竞争，也就是两个线程同时对一个变量进行读写操作。但当你在 Safe Rust 中写出有数据竞争的代码时，编译器会直接拒绝编译。那么它是靠什么魔法做到的呢？ 这就不得不谈 Send 和 Sync 这…
阅读更多...
Spirng 当中 Bean的作用域

Spirng 当中 Bean的作用域

Spirng 当中 Bean的作用域 文章目录 Spirng 当中 Bean的作用域每博一文案1. Spring6 当中的 Bean的作用域1.2 singleton 默认1.3 prototype1.4 Spring 中的 bean 标签当中scope 属性其他的值说明1.5 自定义作用域，一个线程一个 Bean 2. 总结:3. 最后： 每…
阅读更多...
Navicat 每次打开数据库时，总是弹出 “正在获取 ER 图表信息“

Navicat 每次打开数据库时，总是弹出 “正在获取 ER 图表信息“

文章目录 1 问题描述2 问题截图3 解决办法 1 问题描述 使用 Navicat 打开数据库时，总是弹出 “正在获取 ER 图表信息”每次都弹出来，耗时长，有时候点 “取消” 还卡死，烦人 2 问题截图 获取表信息 解析为 ER 图（最…
阅读更多...
React正式更新！开始学习React 19！

React正式更新！开始学习React 19！

本文为原创文章，原文链接：J实验室，未经授权请勿转载 今年2月份，React 发布消息确认今年发布 v19 版本，尘封两年的版本号终于要更新了（详情点击：React 19 发布在即，抢先学习一下新特性…
阅读更多...
打靶日记：midnight

打靶日记：midnight

前置 1. 下载靶机 前往https://www.vulnhub.com/，下载我们想要使用的靶机 本次实战使用的靶机是sunset: midnight 2. 导入VMware 我是用的是VM15，这里我们直接 点击文件-》打开-》选择我们下载完的文件（如果是压缩包的话记得解压&#…
阅读更多...
陪孩子终身成长

陪孩子终身成长

文章目录 自序　你必须成长，才能陪孩子成长1　理解养育的本质第1章　为什么说亲子关系决定孩子的一生亲子关系，决定了我们与世界的关系父母对孩子的影响是最大的所有关系都是原生家庭关系的投射我们的思维模式，由父母决定 第2章　远离劣质亲子…
阅读更多...
编译工具各版本与操作系统版本号兼容性冷知识 : JetBrains IntelliJ IDEA 各个主要版本及其对应的操作系统版本号的兼容情况

编译工具各版本与操作系统版本号兼容性冷知识 : JetBrains IntelliJ IDEA 各个主要版本及其对应的操作系统版本号的兼容情况

编译工具各版本与操作系统版本号兼容性冷知识 🧠: JetBrains IntelliJ IDEA 各个主要版本及其对应的操作系统版本号的兼容情况 文章目录 编译工具各版本与操作系统版本号兼容性冷知识 🧠: JetBrains IntelliJ IDEA 各个主要版本及其对应的操作系统版本号…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023