ceph手动部署

ceph手动部署

一、 节点规划

主机名IP地址角色
ceph01.example.com172.18.0.10/24mon、mgr、osd、mds、rgw
ceph02.example.com172.18.0.20/24mon、mgr、osd、mds、rgw
ceph03.example.com172.18.0.30/24mon、mgr、osd、mds、rgw

操作系统版本： Rocky Linux release 8.8 (Green Obsidian)

二、 准备工作

以下操作所有主机都要操作

1. 替换YUM源

sed -e 's|^mirrorlist=|#mirrorlist=|g'

-e 's|^#baseurl=Index of /$contentdir|baseurl=rockylinux安装包下载_开源镜像站-阿里云|g'

-i.bak

/etc/yum.repos.d/Rocky-.repo

dnf makecache

2. 关闭防火墙和SELINUX

systemctl disable --now firewalld.service

setenforce 0

vim /etc/sysconfig/selinux

3. 配置时间同步

echo “server ntp.aliyun.com iburst” >> /etc/chronyd.conf

systemctl enable --now chronyd

chronyc sources

4. 主机名与IP进行映射

vim /etc/hosts

172.18.0.10 ceph01.example.com ceph01

172.18.0.20 ceph02.example.com ceph02

172.18.0.30 ceph03.example.com ceph03

5. 节点安装ceph软件包

yum install centos-release-ceph-pacific -y 此处使用P版 目前企业级存储使用的稳定版

yum install ceph -y

三、配置MON

1. 生成集群UUID

uuidgen

eb6d6dab-6854-4663-ba7f-eadf2758e681

2. 创建ceph.conf配置文件

vim /etc/ceph/ceph.conf

[global]

fsid=eb6d6dab-6854-4663-ba7f-eadf2758e681

mon_initial_members=ceph01,ceph02,ceph03

mon_host=172.18.0.10,172.18.0.20,172.18.0.30

public_network=172.18.0.0/24

auth_cluster_required=cephx

auth_service_required=cephx

auth_client_required=cephx

osd_pool_default_size=3

osd_pool_default_min_size=2

osd_pool_default_pg_num=128

osd_pool_default_pgp_num=128

storage_type=bluestore

osd_objectstore=bluestore

osd_mkfs_type=xfs

bluestore_block_size=5628755968

3. 生成monitor keyring

ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow '

4. 生成admin管理员key

ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow ' --cap osd 'allow ' --cap mds 'allow ' --cap mgr 'allow '

5. 生成OSD引导key

ceph-authtool --create-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd' --cap mgr 'allow r'

6. 将admin和osd引导key导入到mon key中

ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring

ceph-authtool /tmp/ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring

chown ceph:ceph /tmp/ceph.mon.keyring

7. 生成monmap映射视图

monmaptool --create --add ceph01 172.18.0.10 --add ceph02 172.18.0.20 --add ceph03 172.18.0.30 --fsid eb6d6dab-6854-4663-ba7f-eadf2758e681 /tmp/monmap

8. 拷贝文件到其他节点

scp /etc/ceph/ceph.conf root@ceph02:/etc/ceph/

scp /etc/ceph/ceph.conf root@ceph03:/etc/ceph/

scp /tmp/monmap root@ceph02:/tmp/

scp /tmp/monmap root@ceph03:/tmp/

scp /tmp/ceph.mon.keyring root@ceph02:/tmp/

scp /tmp/ceph.mon.keyring root@ceph03:/tmp/

scp /etc/ceph/ceph.client.admin.keyring root@ceph02:/etc/ceph/

scp /etc/ceph/ceph.client.admin.keyring root@ceph03:/etc/ceph/

9. 从映射视图导入集群关系（在所有节点上操作）

sudo -u ceph mkdir /var/lib/ceph/mon/ceph-ceph01（ceph01改成不同的主机名）

ceph-mon --mkfs -i ceph01 --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring（ceph01改成不同的主机名）

chown ceph.ceph -R /var/lib/ceph

10. 启动mon服务并查看集群状态(在所有节点上操作)

systemctl enable --now ceph-mon@ceph01.service （ceph01改成不同的主机名）

ceph -s 查看集群状态

问题1：3 monitors have not enabled msgr2

ceph mon enable-msgr2 （）

问题2：mons are allowing insecure global_id reclaim

ceph config set mon auth_allow_insecure_global_id_reclaim false（禁用不安全模式）

四、配置MGR

1-3以下所有节点均需要操作

1. 创建mgr key存放目录

sudo -u ceph mkdir /var/lib/ceph/mgr/ceph-$(hostname -s)

2. 生成mgr key

ceph auth get-or-create mgr. $(hostname -s) mon 'allow profile mgr' osd 'allow ' mds 'allow ' > /var/lib/ceph/mgr/ceph-$(hostname -s)/keyring

3. 启动mgr服务

systemctl enable --now ceph-mgr@ceph01.service （ceph01在不同节点上换成不同主机名）

4. 配置dashboard图形化控制台

4.0 安装dashboard模块并启用

yum install ceph-mgr-dashboard -y

4.1 生成自签名证书

openssl req -new -nodes -x509 -subj "/O=IT/CN=ceph-mgr-dashboard" -days 3650

-keyout dashboard.key -out dashboard.crt -extensions v3_ca

4.2 导入证书

ceph dashboard set-ssl-certificate -i dashboard.crt

ceph dashboard set-ssl-certificate-key -i dashboard.key

4.3 配置地址和端口

ceph config set mgr mgr/dashboard/server_addr 0.0.0.0

ceph config set mgr mgr/dashboard/ssl_server_port 8443

4.4 禁用rgw api校验自签名证书（如果启用rgw ssl则需要）

ceph dashboard set-rgw-api-ssl-verify false

4.5初始化 dashboard 用户

echo redhat123 > pass.txt

ceph dashboard ac-user-create admin administrator -i pass.txt

4.6 启用http关闭ssl

mgr-dashboard默认使用ssl进行访问，关闭ssl可以使用http

ceph config set mgr mgr/dashboard/ssl false

4.7 启用或禁用dashboard

ceph config module disable dashboard

ceph config module enable dashboard

五、配置OSD

1. 拷贝OSD的密钥环(ceph01操作)

scp /var/lib/ceph/bootstrap-osd/ceph.keyring root@ceph02:/var/lib/ceph/bootstrap-osd/

scp /var/lib/ceph/bootstrap-osd/ceph.keyring root@ceph03:/var/lib/ceph/bootstrap-osd/

拷贝后修改文件的权限chown ceph.ceph /var/lib/ceph/bootstrap-osd/ceph.keyring

2. 创建OSD

ceph-volume lvm create --data /dev/sdb --bluestore

说明：

--bluestore 不接时默认为bluestore后端驱动，使用--filestore则使用文件级filestore驱动，cephadm不支持管理后端驱动为filestore的OSD

上述过程可以拆分成两步:

准备OSD：ceph-volume lvm prepare --data /dev/sdb

激活OSD：ceph-volume lvm activate {ID} {FSID}

　ceph-volume lvm list 查看OSD的ID

3. 查看集群状态以及添加的OSD

ceph -s 查看集群状态是否ok

ceph osd ls

六、配置MDS

以下操作所有节点都要做

1. 创建mds key存放目录

sudo -u ceph mkdir /var/lib/ceph/mds/ceph-$(hostname -s)

2. 生成mds keyring

ceph auth get-or-create mds.$(hostname -s) osd "allow rwx" mds "allow" mon "allow profile mds" > /var/lib/ceph/mds/ceph-$(hostname -s)/keyring

chown ceph.ceph -R /var/lib/ceph/mds/ceph-ceph02/keyring

3. 启动mds 服务

systemctl start ceph-mds@ceph01.service

systemctl start ceph-mds@ceph02.service

systemctl start ceph-mds@ceph03.service

4. 创建文件系统测试

ceph osd pool create fspool_meta 创建文件系统元数据池

ceph osd pool create fspool_data 创建文件系统数据池

ceph fs new fs01 fspool_meta fspool_data 创建fs01的文件系统

ceph fs status 查看文件系统的主从节点

ceph fs authorize fs01 client.wangwu / rw 创建文件系统使用用户王五并授权

mount -t ceph ceph01:/ /media/ -o name=wangwu,fs=fs01,secret=AQB3ryJl1Z2QMRAAH1C/qRaBGIKKBWET5lM1eg== 挂载测试

七、配置RGW

1.安装软件包（所有节点操作）

yum install ceph-radosgw -y

2.创建 rgw key（ceph01操作）

ceph auth get-or-create client.rgw.ceph01 osd 'allow rwx' mon 'allow rwx' >> /etc/ceph/ceph.client.radosgw.keyring

ceph auth get-or-create client.rgw.ceph02 osd 'allow rwx' mon 'allow rwx' >> /etc/ceph/ceph.client.radosgw.keyring

ceph auth get-or-create client.rgw.ceph03 osd 'allow rwx' mon 'allow rwx' >> /etc/ceph/ceph.client.radosgw.keyring

chown ceph:ceph /etc/ceph/ceph.client.radosgw.keyring

scp /etc/ceph/ceph.client.radosgw.keyring root@ceph02:/etc/ceph/

chown ceph:ceph /etc/ceph/ceph.client.radosgw.keyring (ceph02操作)

scp /etc/ceph/ceph.client.radosgw.keyring root@ceph03:/etc/ceph/

chown ceph:ceph /etc/ceph/ceph.client.radosgw.keyring (ceph03操作)

4.编辑配置文件（ceph01操作）

vim /etc/ceph.conf 新增rgw配置

[client.rgw.ceph01]

host=ceph01

keyring=/etc/ceph/ceph.client.radosgw.keyring

log file=/var/log/radosgw/client.radosgw.gateway.log

rgw frontends = civetweb port=172.18.0.10:8080

[client.rgw.ceph02]

host=ceph02

keyring=/etc/ceph/ceph.client.radosgw.keyring

log file=/var/log/radosgw/client.radosgw.gateway.log

rgw frontends = civetweb port=172.18.0.20:8080

[client.rgw.ceph03]

host=ceph03

keyring=/etc/ceph/ceph.client.radosgw.keyring

log file=/var/log/radosgw/client.radosgw.gateway.log

rgw frontends = civetweb port=172.18.0.30:8080

scp /etc/ceph/ceph.conf root@ceph02:/etc/ceph/

scp /etc/ceph/ceph.conf root@ceph03:/etc/ceph/

5. 创建日志目录（所有节点操作）

sudo -u ceph mkdir /var/log/radosgw/

6. 启动RGW服务（对应节点操作）

systemctl enable --now ceph-radosgw@rgw.ceph01.service

systemctl enable --now ceph-radosgw@rgw.ceph02.service

systemctl enable --now ceph-radosgw@rgw.ceph03.service

服务启动后rgw将自动创建以下存储池

.rgw.root #包含 realm(领域信息)，比如 zone 和 zonegroup

default.rgw.log #存储日志信息，用于记录各种 log 信息

default.rgw.control #系统控制池，在有数据更新时，通知其它 RGW 更新缓存

default.rgw.meta #元数据存储池，通过不同的名称空间分别存储不同的 rados 对象

7. 创建s3用户测试

radosgw-admin user create --uid=user1 --access-key=123 --secret=456 --email user1@example.com --display-name user1

7. s3对象存储测试（任意选择一个节点测试）

7.1 安装s3工具

yum install epel-release -y 使用epel源

yum install aws -y 安装s3客户端工具

7.2 配置s3访问凭据

aws configure --profile=ceph 凭据名为ceph

输入ak和sk

7.3 创建存储桶

aws --profile=ceph --endpoint-url=http://172.18.0.10:8080 s3 mb s3://bucket1

7.4 上传文件到桶

aws --profile=ceph --endpoint-url http://172.18.0.10:8080 s3 cp /etc/passwd s3://bucket1/passwd

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/62777.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

PMP–一、二、三模、冲刺–分类–8.质量管理

PMP–一、二、三模、冲刺–分类–8.质量管理

文章目录 技巧五、质量管理 一模8.质量管理--质量管理计划--质量管理计划包括项目采用的质量标准，到底有没有满足质量需求，看质量标准即可。6、 [单选] 自项目开始以来，作为项目经理同事的职能经理一直公开反对该项目，在讨论项目里…
阅读更多...
C语言——库函数

C语言——库函数

常用的函数 https://cplusplus.com/reference/ 没事儿多看看 1 数学函数 #include <math.h> #include <stdio.h> int main() {printf("%lf\n", sqrt(4));//开平方根——>double类型printf("%lf\n", pow(2, 10));//求几次方的——>do…
阅读更多...
纯Go语言开发人脸检测、瞳孔/眼睛定位与面部特征检测插件-助力GoFly快速开发框架

纯Go语言开发人脸检测、瞳孔/眼睛定位与面部特征检测插件-助力GoFly快速开发框架

前言​ 开发纯go插件的原因是因为目前 Go 生态系统中几乎所有现有的人脸检测解决方案都是纯粹绑定到一些 C/C 库&#xff0c;如 ​​OpenCV​​ 或 ​​​dlib​​​&#xff0c;但通过 ​​​cgo​​​ 调用 C 程序会引入巨大的延迟&#xff0c;并在性能方面产生显著的权衡。…
阅读更多...
27 基于51单片机的方向盘模拟系统

27 基于51单片机的方向盘模拟系统

目录 一、主要功能 二、硬件资源 三、程序编程 四、实现现象 一、主要功能 基于STC89C52单片机&#xff0c;采用两个MPX4115压力传感器作为两路压力到位开关电路&#xff0c; 采用滑动变阻器连接数模转换器模拟重力加速度传感器电路&#xff1b; 一个按键控制LED灯的点亮与…
阅读更多...
win10环境mysql8.4免安装版配置

win10环境mysql8.4免安装版配置

下载后解压 dos管理员&#xff0c;进入bin目录 mysqld -install net start mysql 出现错误&#xff0c;服务无法启动 MySQL 服务正在启动 . MySQL 服务无法启动。 服务没有报告任何错误。 请键入 NET HELPMSG 3534 以获得更多的帮助。 services.msc&#xff0c;查看服务…
阅读更多...
centos更换源文件，换源，替换源

centos更换源文件，换源，替换源

期初怎么折腾就是不行&#xff0c;换了源也是不能使用的&#xff0c;最后发现不是换的源不行&#xff0c;而是之前的源文件不行&#xff0c;然后给所有的源文件在yum源统一放在了bak目录下&#xff0c;随后我们再去下载安装源文件。 您将yum源下载之后&#xff0c;先将您的其他…
阅读更多...
网络安全之IP伪造

网络安全之IP伪造

眼下非常多站点的涉及存在一些安全漏洞&#xff0c;黑客easy使用ip伪造、session劫持、xss攻击、session注入等手段危害站点安全。在纪录片《互联网之子》&#xff08;建议搞IT的都要看下&#xff09;中。亚伦斯沃茨&#xff08;真实人物&#xff0c;神一般的存在&#xff09;涉…
阅读更多...
蓝牙定位的MATLAB仿真程序|基于信号强度的定位，平面、四个蓝牙基站（附源代码）

蓝牙定位的MATLAB仿真程序|基于信号强度的定位，平面、四个蓝牙基站（附源代码）

这段代码通过RSSI信号强度实现了蓝牙定位&#xff0c;展示了如何使用锚点位置和测量的信号强度来估计未知点的位置。它涵盖了信号衰减模型、距离计算和最小二乘法估计等基本概念。通过图形化输出&#xff0c;用户可以直观地看到真实位置与估计位置的关系。 文章目录 蓝牙定位原…
阅读更多...
机器学习算法（六）---逻辑回归

机器学习算法（六）---逻辑回归

常见的十大机器学习算法&#xff1a; 机器学习算法&#xff08;一&#xff09;—决策树 机器学习算法&#xff08;二&#xff09;—支持向量机SVM 机器学习算法&#xff08;三&#xff09;—K近邻 机器学习算法&#xff08;四&#xff09;—集成算法 机器学习算法&#xff08;五…
阅读更多...
Attention显存统计与分析

Attention显存统计与分析

Attention显存估计 简单的Attention函数 import torch import torch.nn as nn import einops class Attention(nn.Module):def __init__(self, dim, num_heads8, qkv_biasFalse, qk_scaleNone, attn_drop0., proj_drop0.):super().__init__()self.num_heads num_headshead_d…
阅读更多...
Spring系列之批处理Spring Batch介绍

Spring系列之批处理Spring Batch介绍

概述 官网&#xff0c;GitHub A lightweight, comprehensive batch framework designed to enable the development of robust batch applications vital for the daily operations of enterprise systems. 执行流程 实战 假设有个待处理的任务&#xff0c;如文件batch-tes…
阅读更多...
[保姆式教程]使用labelimg2软件标注定向目标检测数据和格式转换

[保姆式教程]使用labelimg2软件标注定向目标检测数据和格式转换

定向目标检测是一种在图像或视频中识别和定位对象的同时&#xff0c;还估计它们方向的技术。这种技术特别适用于处理有一定旋转或方向变化的对象&#xff0c;例如汽车、飞机或文本。定向目标检测器的输出是一组旋转的边界框&#xff0c;这些框精确地包围了图像中的对象&#xf…
阅读更多...
Socket编程：UDP网络编程项目

Socket编程：UDP网络编程项目

目录 一、回显服务器 二、翻译器 三、聊天室 一、回显服务器 项目介绍&#xff1a;使用UDPIPv4协议进行Linux网络编程&#xff0c;实现回显服务器和客户端 功能介绍&#xff1a;客户端发送数据&#xff0c;经过服务端再返回到客户端&#xff0c;输出数据 源代码&#xff1…
阅读更多...
HarmonyOS4+NEXT星河版入门与项目实战（24）------Stage模型

HarmonyOS4+NEXT星河版入门与项目实战（24）------Stage模型

文章目录 1、概念2、配置文件1、全局配置文件2、模块配置文件3、UIAbility生命周期1、图文归纳2、生命周期方法入口4、页面生命周期1、图文描述1、概念 2、配置文件 1、全局配置文件 2、模块配置文件 统一修改配置文件技巧：点击任意json 文件，选择 Open editor ,在显示的列表…
阅读更多...
torch_geometric使用手册-Heterogeneous Graph Learning（专题三）

torch_geometric使用手册-Heterogeneous Graph Learning（专题三）

大量的现实世界数据集以异构图(Heterogeneous Graph) 的形式存储，这促使了在PyG中引入专门的功能。例如，大多数推荐系统中的图（如社交图）都是异构图，它们存储着关于不同类型的实体及其不同类型关系的信息。本教程介绍了如何将异构图映射到PyG中，以及如何将其作为输入用于…
阅读更多...
手机实时提取SIM卡打电话的信令声音-蓝牙电话如何适配eSIM卡的手机

手机实时提取SIM卡打电话的信令声音-蓝牙电话如何适配eSIM卡的手机

手机实时提取SIM卡打电话的信令声音 --蓝牙电话如何适配eSIM卡的手机 一、前言 蓝牙电话的海外战略中&#xff0c;由于海外智能手机市场中政策的差异性&#xff0c;对内置eSIM卡的手机进行支持是非常合理的需求。Android系列手机中&#xff0c;无论是更换通信运营商&#xf…
阅读更多...
QT6学习第五天 第一个QT Quick程序

QT6学习第五天 第一个QT Quick程序

QT6学习第五天 第一个QT Quick程序 概述创建Qt Quick程序使用Qt资源文件程序发布 概述 如果将程序的用户界面成为前端&#xff0c;程序的数据存储和逻辑业务成为后端&#xff0c;那么传统QT Widgets程序的前后端都是用C完成的。对于现代软件开发而言&#xff0c;前端演化速度远…
阅读更多...
LabVIEW内燃机气道试验台测控系统

LabVIEW内燃机气道试验台测控系统

基于LabVIEW软件开发的内燃机气道试验台测控系统主要应用于内燃机气道的性能测试和数据分析&#xff0c;通过高精度的测控技术&#xff0c;有效提升内燃机的测试精度和数据处理能力。 项目背景 随着内燃机技术的发展&#xff0c;对其气道性能的精准测量需求日益增加。该系统通…
阅读更多...
flutter底部导航栏中间按钮凸起，导航栏中间部分凹陷效果

flutter底部导航栏中间按钮凸起，导航栏中间部分凹陷效果

关键代码: Scaffold中设置floatingActionButtonLocation: FloatingActionButtonLocation.centerDocked和extendBody: true&#xff0c; BottomAppBar中设置shape: const CircularNotchedRectangle() Scaffold(extendBody: true,//body是否延伸脚手架底部&#xff0c;在底部导航…
阅读更多...
108.【C语言】数据结构之二叉树查找值为x的节点

108.【C语言】数据结构之二叉树查找值为x的节点

目录 1.题目 代码模板 2.分析 分类讨论各种情况 大概的框架 关键部分(继续递归)的详解 递归调用展开图 3.测试结果 其他写法 4.结论 5.注意事项 不推荐的写法 1.题目 查找值为x的节点并返回节点的地址 代码模板 typedef int BTDataType; typedef struct BinaryT…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023