【分布式系统】Ceph对象存储系统之RGW接口

目录

一.对象存储概述

二.创建RGW接口

1.在管理节点创建一个 RGW 守护进程

2.创建成功后默认情况下会自动创建一系列用于 RGW 的存储池

3.默认情况下 RGW 监听 7480 号端口

4.开启 http+https ，更改监听端口

5.在 rgw 节点上查看端口

6.在客户端访问验证

7.创建 RadosGW 账户

8.客户端测试

三.总结

接着之前的部署集群架构

一.对象存储概述

对象存储（object storage）是非结构数据的存储方法，对象存储中每一条数据都作为单独的对象

存储，拥有唯一的地址来识别数据对象，通常用于云计算环境中

不同于其他数据存储方法，基于对象的存储不使用目录树。

虽然在设计与实现上有所区别，但大多数对象存储系统对外呈现的核心资源类型大同小异。从客户

端的角度来看，分为以下几个逻辑单位

  • Amazon S3

提供了

  1. 用户（User）
  2. 存储桶（Bucket）
  3. 对象（Object）

三者的关系是

  1. User将Object存储到系统上的Bucket
  2. 存储桶属于某个用户并可以容纳对象，一个存储桶用于存储多个对象
  3. 同一个用户可以拥有多个存储桶，不同用户允许使用相同名称的Bucket，因此User名称即可做为Bucket的名称空间
  • OpenStack Swift
  1. 提供了user、container和object分别对应于用户、存储桶和对象，
  2. 它还额外为user提供了父级组件account，用于表示一个项目或用户组
  3. 因此一个account中可以包含一到多个user，它们可共享使用同一组container，并为container提供名称空间
  • RadosGW
  1. 提供了user、subuser、bucket和object，其中的user对应于S3的user，而subuser则对应于Swift的user
  2. user和subuser都不支持为bucket提供名称空间，因此不同用户的存储桶不允许同名
  3. 自jewel版本起，RadosGW引入了tenant（租户）用于为user和bucket提供名称空间，但他是个可选组件

二.创建RGW接口

如果需要使用到类似 S3 或者 Swift 接口时候才需要部署/创建 RadosGW 接口，RadosGW 通常作

为对象存储（Object Storage）使用，类于阿里云OSS

1.在管理节点创建一个 RGW 守护进程

cd /etc/ceph
ceph-deploy rgw create node01
ceph -s

2.创建成功后默认情况下会自动创建一系列用于 RGW 的存储池

ceph osd pool ls
rgw.root 
default.rgw.control			#控制器信息
default.rgw.meta			#记录元数据
default.rgw.log				#日志信息
default.rgw.buckets.index	#为 rgw 的 bucket 信息，写入数据后生成
default.rgw.buckets.data	#是实际存储的数据信息，写入数据后生成

3.默认情况下 RGW 监听 7480 号端口

ssh root@node01 netstat -lntp | grep 7480

4.开启 http+https ，更改监听端口

RadosGW 守护进程内部由 Civetweb 实现，通过对 Civetweb 的配置可以完成对 RadosGW 的

基本管理
 

#要在 Civetweb 上启用SSL，首先需要一个证书，在 rgw 节点生成证书
1）生成CA证书私钥：
openssl genrsa -out civetweb.key 20482）生成CA证书公钥：
openssl req -new -x509 -key civetweb.key -out civetweb.crt -days 3650 -subj "/CN=192.168.20.7"#3、将生成的证书合并为pem
cat civetweb.key civetweb.crt > /etc/ceph/civetweb.pem

更改监听端口

vim ceph.conf
......
[client.rgw.node01]
rgw_host = node01
rgw_frontends = "civetweb port=80+443s ssl_certificate=/etc/ceph/civetweb.pem num_threads=500 request_timeout_ms=60000"------------------------------------------------------------
●rgw_host：对应的RadosGW名称或者IP地址
●rgw_frontends：这里配置监听的端口，是否使用https，以及一些常用配置：
•port：如果是https端口，需要在端口后面加一个s。
•ssl_certificate：指定证书的路径。
•num_threads：最大并发连接数，默认为50，根据需求调整，通常在生产集群环境中此值应该更大
•request_timeout_ms：发送与接收超时时长，以ms为单位，默认为30000
•access_log_file：访问日志路径，默认为空
•error_log_file：错误日志路径，默认为空
------------------------------------------------------------#修改完 ceph.conf 配置文件后需要重启对应的 RadosGW 服务，再推送配置文件
ceph-deploy --overwrite-conf config push node0{1..3}systemctl restart ceph-radosgw.target

5.在 rgw 节点上查看端口

netstat -lntp | grep -w 80
netstat -lntp | grep 443

6.在客户端访问验证


curl http://192.168.80.105:80
curl -k https://192.168.80.105:443

7.创建 RadosGW 账户

在管理节点使用 radosgw-admin 命令创建 RadosGW 账户

radosgw-admin user create --uid="rgwuser" --display-name="rgw test user"


#创建成功后将输出用户的基本信息，其中最重要的两项信息为 access_key 和 secret_key 。用户创建成后功，如果忘记用户信息可以使用下面的命令查看
radosgw-admin user info --uid="rgwuser"

8.客户端测试

1）在客户端安装 python3、python3-pip
yum install -y python3 python3-pippython3 -V
Python 3.6.8pip3 -V
pip 9.0.3 from /usr/lib/python3.6/site-packages (python 3.6)2）安装 boto 模块，用于测试连接 S3
pip3 install boto3）测试访问 S3 接口
echo 123123 > /opt/123.txtvim test.py
#coding:utf-8
import ssl
import boto.s3.connection
from boto.s3.key import Key
try:_create_unverified_https_context = ssl._create_unverified_context
except AttributeError:pass
else:ssl._create_default_https_context = _create_unverified_https_context#test用户的keys信息
access_key = "ER0SCVRJWNRIKFGQD31H"                          #输入 RadosGW 账户的 access_key
secret_key = "YKYjk7L4FfAu8GHeQarIlXodjtj1BXVaxpKv2Nna"      #输入 RadosGW 账户的 secret_key#rgw的ip与端口
host = "192.168.80.11"        #输入 RGW 接口的 public 网络地址#如果使用443端口，下述链接应设置is_secure=True
port = 443
#如果使用80端口，下述链接应设置is_secure=False
#port = 80
conn = boto.connect_s3(aws_access_key_id=access_key,aws_secret_access_key=secret_key,host=host,port=port,is_secure=True,validate_certs=False,calling_format=boto.s3.connection.OrdinaryCallingFormat()
)#一:创建存储桶
#conn.create_bucket(bucket_name='bucket01')
#conn.create_bucket(bucket_name='bucket02')#二：判断是否存在，不存在返回None
exists = conn.lookup('bucket01')
print(exists)
#exists = conn.lookup('bucket02')
#print(exists)#三：获得一个存储桶
#bucket1 = conn.get_bucket('bucket01')
#bucket2 = conn.get_bucket('bucket02')#四：查看一个bucket下的文件
#print(list(bucket1.list()))
#print(list(bucket2.list()))#五：向s3上存储数据，数据来源可以是file、stream、or string
#5.1、上传文件
#bucket1 = conn.get_bucket('bucket01')
# name的值是数据的key
#key = Key(bucket=bucket1, name='myfile')
#key.set_contents_from_filename('/opt/123.txt')
# 读取 s3 中文件的内容，返回 string 即文件 123.txt 的内容
#print(key.get_contents_as_string())#5.2、上传字符串
#如果之前已经获取过对象，此处不需要重复获取
bucket2 = conn.get_bucket('bucket02')
key = Key(bucket=bucket2, name='mystr')
key.set_contents_from_string('hello world')
print(key.get_contents_as_string())#六：删除一个存储桶，在删除存储桶本身时必须删除该存储桶内的所有key
bucket1 = conn.get_bucket('bucket01')
for key in bucket1:key.delete()
bucket1.delete()4）按照以上步骤执行 python 脚本测试
python3 test.py

三.总结

RGW操作

服务端

ceph-deploy rgw create 节点列表                                      
#创建RGW接口，还可以修改ceph配置文件，设置RGW监听的端口号（默认端口为7480）
radosgw-admin user create --uid="用户名" --display-name="备注信息"      
#创建RGW账户，获取access_key和secret_key

客户端

  1. 准备好客户端应用程序
  2. 使用RGW账户的access_key和secret_key做验证访问RGW对象存储接口
  3. 在对象存储里创建bucket存储桶
  4. 在bucket存储桶里创建对象object，上传数据

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/43274.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Mybatis study

Mybatis study

一、Mybatis Plus mybatis-plus指定实体类字段不查询 加标签 TableField(exist false) Spring Data Jpa学习 干我们这行，啥时候懈怠，就意味着长进的停止，长进的停止就意味着被淘汰，只能往前冲，直到凤凰涅槃的一天&am…
阅读更多...
【onnx】onnxruntime-gpu无法使用问题

【onnx】onnxruntime-gpu无法使用问题

every blog every motto: You can do more than you think. https://blog.csdn.net/weixin_39190382?typeblog 0. 前言 onnxruntime-gpu无法使用 1. 正文 CUDA版本：12.1 nvcc -VCUDNN的版本 cat /usr/include/cudnn_version.h |grep CUDNN_MAJOR -A 2说明: 可…
阅读更多...
C#中的Dictionary

C#中的Dictionary

Dictionary<TKey, TValue> 是一个泛型集合&#xff0c;它存储键值对&#xff08;key-value pairs&#xff09;&#xff0c;其中每个键&#xff08;key&#xff09;都是唯一的。这个集合类提供了快速的数据插入和检索功能&#xff0c;因为它是基于哈希表实现的。 注意 ke…
阅读更多...
拉曼操作维护使用手册（中英文对照）

拉曼操作维护使用手册（中英文对照）

1 INTRODUCTION 介绍 This document contains information needed to install and operate the Laser Gas Analyzer (LGA). The information contained herein is believed to be accurate and reliable, however, inaccuracies and omissions of pertinent information are po…
阅读更多...
Vue 3 组件通信全解：从基础到高级技巧

Vue 3 组件通信全解：从基础到高级技巧

引言 Vue 3 引入了 Composition API&#xff0c;这为组件通信带来了新的灵活性和强大的功能。 组件通信基础 组件的定义和作用 在前端开发中&#xff0c;组件可以被看作是构建用户界面的独立单元。它封装了特定的功能和样式&#xff0c;可以被重复使用&#xff0c;并且可以…
阅读更多...
【数据结构——链表的深度探索】从实现到应用，保姆级攻略

【数据结构——链表的深度探索】从实现到应用，保姆级攻略

【数据结构——链表深度探索】从实现到应用&#xff0c;保姆级攻略 &#x1f341;1. 链表的介绍&#x1f341;2. 链表的实现&#x1f341;2.1 单向链表&#x1f341;2.1.1 size()&#x1f341;2.1.2 display()&#x1f341;2.1.3 contains(int key)&#x1f341;2.1.4 addFirst…
阅读更多...
墨西哥：海外新闻稿媒体分发-海外pr发稿干货分享-大舍传媒

墨西哥：海外新闻稿媒体分发-海外pr发稿干货分享-大舍传媒

大舍传媒&#xff1a;海外新闻稿媒体分发平台 墨西哥观查者 (mexicoviewer) 墨西哥观查者是墨西哥一家知名的新闻媒体平台&#xff0c;该平台专注于报道墨西哥国内外的时事新闻、政治、经济、文化等多个领域的内容。其更新速度快&#xff0c;报道对象广泛&#xff0c;深受墨西…
阅读更多...
微信小程序---模板语法

微信小程序---模板语法

一、声明和绑定数据 小程序页面中使用的数据均需要在 Page() 方法的 data 对象中进行声明定义 在将数据声明好以后&#xff0c;需要在 WXML 中绑定数据&#xff0c;数据绑定最简单的方式是使用 Mustache 语法&#xff08;双大括号&#xff09;将变量包起来。 在 {{ }} 内部可…
阅读更多...
开始性能测试之前的准备工作！

开始性能测试之前的准备工作！

性能测试是软件测试中不可或缺的一部分&#xff0c;它可以帮助我们评估软件系统的性能表现&#xff0c;并找出潜在的性能瓶颈。在进行性能测试之前&#xff0c;需要做好充分的准备工作&#xff0c;以确保测试的有效性和准确性。 1. 确定性能测试的目标和范围 * 明确测试目标:性…
阅读更多...
《数据库原理》SQLServer期末复习_题型+考点

《数据库原理》SQLServer期末复习_题型+考点

目录 题型&#xff1a; 一. 概况分析题&#xff08;5小题&#xff0c;每小题2分&#xff0c;共10分&#xff09; 二. 计算题&#xff08;3小题&#xff0c;每小题5分&#xff0c;共15分&#xff09; 三. 数据库设计&#xff08;2小题&#xff0c;每小题10分&#xff0c;共2…
阅读更多...
什么是数组，什么是对象，并说出他们的区别

什么是数组，什么是对象，并说出他们的区别

数组就是一组数据的集合。 对象就是用来储存变量的。 创建方式不同&#xff1a; 对象可以通过new关键字创建对象&#xff0c;或者通过对象字面量创建 数组&#xff1a;new Array() 数组表 示有序数据的集合&#xff0c;而对象表示无序数据的集合 数组的数据没有名称&#xff08…
阅读更多...
在mysql中delete和truncated的相同点和区别点

在mysql中delete和truncated的相同点和区别点

相同点 删除数据&#xff1a;两者都会删除表中的数据。影响数据&#xff1a;两者都不删除表结构&#xff0c;只影响表中的数据。 区别点 操作方式&#xff1a; DELETE&#xff1a;逐行删除数据&#xff0c;可以使用 WHERE 子句来指定删除的条件。如果不加 WHERE 子句&#…
阅读更多...
Spring Boot(八十)：Tesseract实现图片文字自动识别

Spring Boot(八十)：Tesseract实现图片文字自动识别

1Tesseract 要实现图片转文字（OCR，Optical Character Recognition）功能，可以使用一些现有的OCR库，比如Google的Tesseract或者百度AI、阿里云OCR等云服务。 下面以Tesseract为例： Tesseract是一个开源文本识别 (OCR)引擎，是目前公认最优秀、最精确的开源OCR系统，用于…
阅读更多...
【Python机器学习】处理文本数据——用tf-idf缩放数据

【Python机器学习】处理文本数据——用tf-idf缩放数据

为了按照我们预计的特征信息量大小来缩放特征&#xff0c;而不是舍弃那些认为不重要的特征&#xff0c;最常见的一种做法就是使用词频-逆向文档频率&#xff08;tf-idf&#xff09;。这一方法对某个特定文档中经常出现的术语给与很高的权重&#xff0c;但是堆在语料库的许多文档…
阅读更多...
作业/数据结构/2023/7/10

作业/数据结构/2023/7/10

1.实现单向链表队列的&#xff0c;创建&#xff0c;入队&#xff0c;出队&#xff0c;遍历&#xff0c;长度&#xff0c;销毁。 main.c #include "head.h"int main(int argc, const char *argv[]) {//创建链式队列queue_ptr QLcreate_queue();//入栈push(QL, 1000)…
阅读更多...
imx6ull/linux应用编程学习（16）emqx ，mqtt创建连接mqtt.fx

imx6ull/linux应用编程学习（16）emqx ，mqtt创建连接mqtt.fx

在很多项目中都需要自己的私人服务器&#xff0c;以保证数据的隐私性&#xff0c;这里我用的是emqx。 1.进入emqx官网 EMQX&#xff1a;用于物联网、车联网和工业物联网的企业级 MQTT 平台 点击试用cloud 申请成功后可得&#xff1a;&#xff08;右边的忽略&#xff09; 进入…
阅读更多...
告别PS，ChatGPT图片局部修改，手把手教你成为画图高手

告别PS，ChatGPT图片局部修改，手把手教你成为画图高手

大家好&#xff0c;我是YUAN&#xff01; 今天&#xff0c;我要向大家介绍一个能够点燃创意火花的画图设计神器——DALLE编辑器。让艺术创作&#xff0c;尤其是画图变得更加简单、直观&#xff0c;甚至可以说是革命性的。 DALLE是什么&#xff1f; DALLE编辑器的问世&#xf…
阅读更多...
macOS系统下载navicat安装包

macOS系统下载navicat安装包

链接: https://pan.baidu.com/s/1SqTIXNL-B8ZMJxIBu1DfIw?pwdc1z8 提取码: c1z8 安装后效果
阅读更多...
buuctf题目讲解-1

buuctf题目讲解-1

一眼就解密 ZmxhZ3tUSEVfRkxBR19PRl9USElTX1NUUklOR30 flag{THEFLAGOFTHISSTRING} base家族 base64 加密原理&#xff1a; 明文&#xff1a;abc 去找ascii码的二进制形式 a-->97-→01100001 &#xff08;二进制为8位如果不足8位则在最左边补0至8位&#xff09; b-→…
阅读更多...
生物环保的技术原理和优点是什么

生物环保的技术原理和优点是什么

生物环保的技术原理和优点可以归纳如下&#xff1a; 技术原理 生物环保利用生物学原理&#xff0c;采用生物技术&#xff0c;通过生物过程来净化环境&#xff0c;消除污染物&#xff0c;减少污染源&#xff0c;从而改善环境质量。这主要依赖于微生物的代谢活动、生长特性和相…
阅读更多...
最新文章

Copyright @ 2022~2023