我认为学习一个中间件比较好的方式是,先了解它的架构和运行原理,然后动手部署一遍,加深对它的了解,再使用它,最后进行总结和分享
本篇介绍OceanBase部署前提配置和集群部署
1.使用开源免费的社区版,企业版需要付费
社区版目前最新是V4.2.1_CE_BP3,它们之间的差异请查看此链接:https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000000507492
2.OceanBase下载地址
https://www.oceanbase.com/softwarecenter
https://mirrors.aliyun.com/oceanbase/community/stable/el/7/x86_64/?spm=a2c6h.25603864.0.0.34a0130dfVJgW5
3.软硬件环境满足以下要求:
项目 | 描述 |
---|---|
系统 | 内核 Linux 3.10.0 版本及以上,如:CentOS7.X Ubuntu 20.X |
CPU | 最低要求 2 核,推荐 4 核及以上。 |
内存 | 最低要求 8 GB,推荐设置在 16 GB 至 1024 GB 范围内。 |
磁盘类型 | 建议使用 SSD 存储。 |
磁盘存储空间 | 最低要求 19 GB。 |
文件系统 | EXT4 戓 XFS,当数据超过 16T 时,使用 XFS。 |
all-in-one 安装包 | all-in-one 安装包需选择 V4.1.0 及以上版本。 |
4.部署方式
- 使用 OBD 部署 OceanBase 集群 (本篇使用OBD)
- 使用 OCP 部署 OceanBase 集群
- 使用 Docker 镜像的方式部署 OceanBase 集群
- 在 Kubernetes 环境中使用 ob-operator 部署 OceanBase 集群
介绍下部署工具软件:
OBD 全称为 OceanBase Deployer,是 OceanBase 集群安装部署工具,通过命令行部署或白屏web界面部署的方式,将复杂配置流程标准化,降低集群部署难度,该软件包61M,适合中小型团队,OBD文档:https://www.oceanbase.com/docs/community-obd-cn-10000000002049469
OCP 全称为 OceanBase Cloud Platform云平台,是一款以 OceanBase 数据库为核心的企业级数据库管理平台。使用 OCP,可以一键安装、升级、扩容、卸载 OceanBase 数据库集群,创建和管理运维任务,监控集群的运行状态,并查看告警,该软件包ocp-all-in-one-4.2.1有1.1GB,适合有运维能力的大型团队,OCP文档:https://www.oceanbase.com/docs/ocp
OCP Express是OCP的精剪版,是基于 Web 的 OceanBase 4.x 管理工具,它集成在 OceanBase 数据库集群中,可以以极小的资源消耗部署在任意一台数据库节点上,文档:https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000000508228,https://www.oceanbase.com/docs/community-obd-cn-10000000001690027
5.规划部署方案
根据业务量和高可用要求规划部署方案,有同城三机房三副本、三地五中心五副本
咱们学习使用,选择同城三机房三副本,需要准备三台服务器,每个机房一台服务器,我在Mac上用VMware创建了3台Centos7.4虚拟机,规划如下:
服务器 | IP | 配置 | zone |
---|---|---|---|
db1 | 192.168.113.161 | 2C 13G 100G | zone1 |
db2 | 192.168.113.162 | 2C 10G 100G | zone2 |
db3 | 192.168.113.163 | 2C 10G 100G | zone3 |
db1需安装 OBD 软件,配置高一点,OBD用于管理 OceanBase 集群,存储 OceanBase 集群安装包和集群配置信息
因OceanBase集群的服务器都是对等的,所以后续扩容时,每次增加服务器的数量都是zone数量乘以服务器数量,如:3个zone每个加一台 = 3台
6.部署前配置
查看操作系统信息:cat /etc/redhat-release
查看内核信息:uname -r
查看内存:free -g
查看磁盘:df -h
查看网卡:ifconfig
6.1.服务器之间需配置无密码SSH登录
1.查看机器上密钥是否存在:ls ~/.ssh/id_rsa.pub2.不存在,则生成 SSH 公钥和私钥:ssh-keygen -t rsa3.将公钥复制到目标机器的 authorized_keys 文件中:ssh-copy-id -i ~/.ssh/id_rsa.pub <user>@<server_ip>
tips:每台服务器都生成密钥并复制到另外其他服务器上
6.2.配置时钟源
OceanBase 集群需要保证集群内各机器的时间同步,否则集群无法启动,服务在运行时也会出现异常,集群允许的时钟偏差不能超过 2s。当超过 2s 时,会出现无主情况
1.安装 NTP:yum install ntp ntpdate -y
2.查看服务器的 NTP 连接:ntpq -4p
3.以某台服务器为NTP 服务端服务器3.1.以 root 用户登录 NTP 服务端服务器,编辑配置文件:vi /etc/ntp.conf3.2.在配置文件中添加以下内容:server <your_ntp_server_ip>3.3.重启 NTP 服务端服务:service ntpd restart3.4.查看 NTP 服务端服务是否启动成功:ps -ef | grep -i ntpd3.5.设置 NTP 服务开机自启动:chkconfig ntpd on
4.开启 NTP 客户端服务4.1.用 root 用户登录 OBServer 节点服务器4.2.停止 NTP 服务:service ntpd stop4.3.同步 NTP 服务端时间:ntpdate 10.10.10.14.4.编辑配置文件:vi /etc/ntp.conf4.5.添加以下内容:server <your_ntp_server_ip>4.6.启动 NTP 服务:/etc/init.d/ntpd start4.7.运行命令验证配置是否成功:ntpstatsynchronised to NTP server (xxx.xxx.xxx.xxx) at stratum 3time correct to within 2 mspolling server every 64 s4.8.运行命令验证配置是否成功:timedatectl Local time: Thu 2021-04-22 11:02:32 CSTUniversal time: Thu 2021-04-22 03:02:32 UTCRTC time: Thu 2021-04-22 11:02:32Time zone: Asia/Shanghai (CST, +0800)NTP enabled: yesNTP synchronized: yesRTC in local TZ: yesDST active: n/a
此处还需要考虑内网环境,怎么安装ntp
6.3.规划磁盘
OceanBase数据存储在:事务日志盘、数据盘,并建议这两种数据分别存储在不同磁盘上,从而提供IO效率,此处咱们学习就不区分两块磁盘了。
-
事务日志盘,建议大小为机器内存的4倍,事务日志达到磁盘总量的 80% 时,将触发自动清除,如 /redo。
-
数据盘,存储基线数据,如 /data。
6.4.配置 limits.conf
OceanBase 数据库的进程涉及的限制包括线程最大栈空间大小(Stack)、最大文件句柄数(Open Files)和 core 文件大小 (Core File Size),如果不配置会在部署启动时报错,每台服务器都配置:
1.编辑文件:vi /etc/security/limits.conf2.加入以下内容
root soft nofile 655350
root hard nofile 655350
* soft nofile 655350
* hard nofile 655350
* soft stack 20480
* hard stack 20480
* soft nproc 655360
* hard nproc 655360
* soft core unlimited
* hard core unlimited3.查看配置:ulimit -a
6.5.配置 sysctl.conf
配置网络和内核参数提高 Linux 系统的性能,每台服务器都配置:
1.打开配置:vi /etc/sysctl.conf2.添加以下内容:
for oceanbase
修改内核异步 I/O 限制
fs.aio-max-nr=1048576网络优化
net.core.somaxconn = 2048
net.core.netdev_max_backlog = 10000
net.core.rmem_default = 16777216
net.core.wmem_default = 16777216
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216net.ipv4.ip_local_port_range = 3500 65535
net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_syncookies = 0
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_slow_start_after_idle=0vm.swappiness = 0
vm.min_free_kbytes = 2097152
修改进程可以拥有的虚拟内存区域数量
vm.max_map_count = 655360此处为 OceanBase 数据库的 data 目录
kernel.core_pattern = /data/core-%e-%p-%t3.加载配置,使配置生效:sysctl -p
6.6.关闭防火墙和 SELinux
systemctl disable firewalld
systemctl stop firewalld
systemctl status firewalld
vi /etc/selinux/config
SELINUX=disabledsetenforce 0
6.7.创建用户
如果是用root帐号部署的,此处可忽略,但真实的环境可能不会给root帐号,那么就需要创建用户,并让帐号有某些目录的权限。
1.创建账户 admin
useradd -U admin -d /home/admin -s /bin/bash
mkdir -p /home/admin
chown -R admin:admin /home/admin2.为账户 admin 设置密码
passwd admin3.为账户 admin 设置 sudo 权限
vim /etc/sudoers
添加如下内容:
Same thing without a password
%wheel ALL=(ALL) NOPASSWD: ALL
admin ALL=(ALL) NOPASSWD: ALL4.修改OceanBase集群相关文件所属用户,假设/data、/redo、/home/admin为真实挂载目录
chown -R admin:admin /data
chown -R admin:admin /redo
chown -R admin:admin /home/admin
6.8.配置JDK 1.8
OCP Express使用到了jdk,因为它是一个java web服务,下面多配置了一个java_bin,是因为OCP Express可视化部署页面中用到的就是java_bin
vi /etc/profileexport JAVA_HOME=/mnt/software/jdk1.8.0_251
export java_bin=/mnt/software/jdk1.8.0_251/bin
export PATH=$PATH:${JAVA_HOME}/bin
建议以上配置在目标服务器上都配一遍
7.部署
下载好 all-in-one 安装包,包含了安装所需的所有软件和依赖,并将其上传到中控机器目录下,解压并安装
tar -xzf oceanbase-all-in-one-*.tar.gz
cd oceanbase-all-in-one/bin/
./install.sh
source ~/.oceanbase-all-in-one/bin/env.sh
上面的命令只是在中控机上安装好了OBD,并把安装上传到本地镜像仓库,启动OBD可视化部署页面,并配置好相关参数后,OBD会把安装包分发到各个服务器上进行部署安装
7.1.单机部署
1.1输入 obd demo,就会创建一个最小规格的OceanBase,shell终端会输出连接信息,使用obclient连接即可
1.2通过docker快速部署体验
docker pull oceanbase/oceanbase-ce
#MINI_MODE=1是最小规格,等于0是最大规格部署
docker run -p 2881:2881 --name obstandalone -e MINI_MODE=1 -d oceanbase/oceanbase-ce
docker logs obstandalone | tail -1 ,如果返回boot success!,此步骤要等待好几分钟,因为下载的文件比较大
单机部署不建议生产环境使用
7.5.集群部署
集群部署有OBD、OCP、命令行等方式,下面介绍OBD web页面可视化部署OceanBase集群。
安装 all-in-one后,通过下面命令启动一个web页面,通过web页面可视化方式部署集群,原理是把可视化配置的参数内容生成到一个配置文件里面,最后通过配置文件启动集群
obd web -p 8680
start OBD WEB in 0.0.0.0:8680
please open http://192.168.113.161:8680
访问http://192.168.113.161:8680
页面顶部有5个步骤:部署配置 、节点配置、集群配置、预检查、部署。
- 在 部署配置 界面修改 集群名称 并勾选待部署组件,也可不做修改,使用默认配置(默认部署所有组件)。单击 下一步 进入 节点配置 页面
- 在 节点配置 页面输入节点 IP 和用户密码,单击 下一步 进入 集群配置 页面
按上面服务器规划,有zone1、zone2、zone3,每个zone有一台服务器,192.168.113.161、192.168.113.162、192.168.113.163,选择zone1为RootServer节点
我是用root用户部署的,输入root和密码
-
在 集群配置 页面配置集群的部署模式、密码、目录、端口以及更多配置,您也可不做修改,使用默认配置。单击 下一步 进入 预检查 页面
-
在 预检查 页面查看配置信息,无误后单击 预检查 进行检查。若预检查报错,您可根据页面建议选择 自动修复 或者单击 了解更多方案 跳转至错误码文档,参考文档自行修改。所有报错修改后,可单击 重新检查 再次进行预检查。
自动修复一般修复不了,要根据错误信息手动处理,我遇到的是机器资源不够,ulimit太小,jdk未配置正确
- 预检查通过后,单击 部署 开始 OceanBase 集群的部署。部署成功会输出各个组件的连接方式,可复制进行访问
出现此界面就代表OceanBase部署成功了,各个组件的配置信息非常重要,建议保存后再关闭此页面
OBProxy -> OceanBase 数据库代理(OceanBase Database Proxy,简称ODP),OceanBase 数据库用户的数据会以多副本的形式存放在各个 OBServer 节点上,ODP 接收用户发出的 SQL 请求,并将 SQL 请求转发至最佳目标 OBServer 节点,最后将执行结果返回给用户,有了代理当后端OBServer宕机、扩缩容时,OBProxy会屏蔽掉无效的OBServer,对客户端透明。
- 单击 完成,结束部署流程(一定要保存好各个组件的帐号、密码和连接字符串)
使用 OBClient 客户端连接 OceanBase 数据库,也可以使用mysql或Navicat去连接。
通过 ODP 代理访问数据库,以 ODP 所在节点为192.168.113.161 为例
obclient -h192.168.113.161 -P2883 -uroot@sys -p -Doceanbase -A
使用Navicat连接OBProxy
我用OceanBase的root用户,在sys系统租户下,创建了一个demo的数据库,创建一张表tb1,新增了两条数据
此处只做演示,官方推荐创建自定义租户,租户就是一个数据库实例,有自己的用户和权限,在业务租户下创建数据库和表。
登录 OCP Express web界面管理集群,可查看集群的健康状态,CPU、内存等资源使用情况,SQL执行次数,执行时间,报错等信息
地址是:http://192.168.113.161:8180/admin ,帐号和密码在上面的部署页面有
使用OBD web页面可视化方式部署集群看上去比较简单,但原理是把可视化配置的参数生成到一个配置文件里面,并通过命令行形式使用该配置文件启动集群
在中控机161服务器的家目录: ll -al,可以看到一个 .obd 目录
进入.obd/cluster/myoceanbase/ ,里面有个config.yaml文件,这就是obd web可视化页面配置后生成的配置文件,部署启动时就用到了该文件
cat config.yaml ,里面内容如下,官方文档说此配置文件内容不能修改:
user:username: rootpassword: 123456port: 22
oceanbase-ce:version: 4.2.1.2release: 102000042023120514.el7package_hash: b2ccb524f200a9ef0fad2cddf59d309ddaa2e3e4192.168.113.161:zone: zone1192.168.113.162:zone: zone2192.168.113.163:zone: zone3servers:- 192.168.113.161- 192.168.113.162- 192.168.113.163global:appname: myoceanbaseroot_password: /aVi*H8(0%FS_YwZ-|dmo&[hjlT7pe@Emysql_port: 2881rpc_port: 2882home_path: /root/myoceanbase/oceanbasecluster_id: 1702997757ocp_agent_monitor_password: CG6Ks3IBSnproxyro_password: UDECAf4jk1ocp_meta_password: BBieozeEvMenable_syslog_recycle: trueenable_syslog_wf: falsemax_syslog_file_count: 4ocp_meta_tenant_log_disk_size: 6656Mocp_meta_tenant_memory_size: 1536Mmemory_limit: 6Gdatafile_size: 2Gsystem_memory: 1Glog_disk_size: 13Gcpu_count: 16production_mode: false__min_full_resource_pool_memory: 1073741824datafile_maxsize: 8Gdatafile_next: 2G
obproxy-ce:version: 4.2.1.0package_hash: 0aed4b782120e4248b749f67be3d2cc82cdcb70drelease: 11.el7servers:- 192.168.113.161global:prometheus_listen_port: 2884listen_port: 2883home_path: /root/myoceanbase/obproxyobproxy_sys_password: Zl7nTJ7rYfskip_proxy_sys_private_check: trueenable_strict_kernel_release: falseenable_cluster_checkout: falseproxy_mem_limited: 500Mrs_list: 192.168.113.161:2881;192.168.113.162:2881;192.168.113.163:2881observer_sys_password: UDECAf4jk1cluster_name: myoceanbaseobserver_root_password: /aVi*H8(0%FS_YwZ-|dmo&[hjlT7pe@Edepends:- oceanbase-ce
obagent:version: 4.2.1package_hash: c08058fef64b2dc6b5e2f99748fbd76fe872e356release: 100000122023103020.el7servers:- 192.168.113.161- 192.168.113.162- 192.168.113.163global:monagent_http_port: 8088mgragent_http_port: 8089home_path: /root/myoceanbase/obagenthttp_basic_auth_password: rKwS3yRXiOob_monitor_status: activedepends:- oceanbase-ce
ocp-express:version: 4.2.1package_hash: c69fe1fe0ec0d1a4e14f75468ccda4d0a7ca8d28release: 100000222023111619.el7servers:- 192.168.113.161global:port: 8180home_path: /root/myoceanbase/ocpexpressadmin_passwd: RQ8k1t(#memory_size: 752Mdepends:- obagent- oceanbase-ce- obproxy-ce
tips:这里有个问题,部署时的配置参数,可以通过obclient连接数据库后,使用数据库设置参数命令修改参数后,这个配置文件的参数不会被同步修改,如果重启集群,则在数据库中修改的参数失效了,官方说以后支持同步修改配置。
OBD部署后,可以使用命令行查看集群:obd cluster list
此处的status状态为 stopped,说明集群是停止的,可以使用:obd cluster start myoceanbase 启动集群
关闭虚拟机时,可以关闭集群:obd cluster stop myoceanbase
查看obd cluster帮助文档:obd cluster --help
查看集群详细信息:obd cluster display myoceanbase
希望以上内容能对你有所帮助,谢谢