k8s持久化存储之OpenEBS

一、介绍

OpenEBS 是 CNCF 项目的一部分,采用 Apache v2 许可证。是 Kubernetes 部署使用最广泛且易用的开源存储解决方案。

目的:

让持久化工作负载的存储和存储服务完全集成到环境中,这样每个团队和工作负载都可以从控制的粒度和 Kubernetes 原生行为中获益。

特点:

  • 微服务架构,使用 Kubernetes 自身的能力来编排管理 OpenEBS 组件。
  • OpenEBS 支持一系列存储引擎,以便开发人员能够部署适合其应用程序设计目标的存储技术。像 Cassandra 这样的分布式应用程序可以使用 LocalPV 引擎实现最低延迟的写操作。像 MySQL 和 PostgreSQL 这样的独立应用程序可以使用 ZFS 引擎 (cStor) 进行恢复。像 Kafka 这样的流媒体应用程序可以使用 NVMe 引擎 Mayastor 在边缘环境中获得最佳性能。
  • 在各种引擎类型中,OpenEBS 为高可用性、快照、克隆和易管理性提供了一致的框架。
  • 管理员和开发人员可以使用 Kubernetes 提供的所有工具来交互和管理 OpenEBS。

二、OpenEBS 存储引擎建议

应用需求存储类型OpenEBS 卷类型
低时延、高可用性、同步复制、快照、克隆、精简配置SSD/ 云存储卷OpenEBS Mayastor
高可用性、同步复制、快照、克隆、精简配置机械 /SSD/ 云存储卷OpenEBS cStor
高可用性、同步复制、精简配置主机路径或外部挂载存储OpenEBS Jiva
低时延、本地 PV主机路径或外部挂载存储Dynamic Local PV - Hostpath, Dynamic Local PV - Rawfile
低时延、本地 PV本地机械 /SSD/ 云存储卷等块设备Dynamic Local PV - Device
低延迟,本地 PV,快照,克隆本地机械 /SSD/ 云存储卷等块设备OpenEBS Dynamic Local PV - ZFS , OpenEBS Dynamic Local PV - LVM
  • 多机环境,如果有额外的块设备(非系统盘块设备)作为数据盘,选用 OpenEBS MayastorOpenEBS cStor
  • 多机环境,如果没有额外的块设备(非系统盘块设备)作为数据盘,仅单块系统盘块设备,选用 OpenEBS Jiva
  • 单机环境,建议本地路径 Dynamic Local PV - Hostpath, Dynamic Local PV - Rawfile,由于单机多用于测试环境,数据可靠性要求较低。

三、安装

openobs官方安装文档

在安装openebs之前先去除污点,然后等安装完成再添加回来污点

# 去除污点
kubectl taint nodes k8s-master01 node-role.kubernetes.io/master=:NoSchedule-
# 添加污点
kubectl taint nodes k8s-master01 node-role.kubernetes.io/master=:NoSchedule

添加helm repo

helm repo add openebs https://openebs.github.io/charts
helm repo update

安装openebs(这里只会安装Jiva和Local组件)

helm install openebs --namespace openebs openebs/openebs --create-namespace --version 3.0.x

添加cstor支持

helm install openebs --namespace openebs openebs/openebs --create-namespace --set cstor.enabled=true --version 3.2.0

查看安装

# 查看安装pod
kubectl get pod -n openebs
# 查看安装blockdevice,这里的blockdevice是磁盘,当添加一块未分配的磁盘,就会有值
kubectl get bd -n openebs

OpenEBS依赖与iSCSI做存储管理,因此需要先确保您的集群上已有安装openiscsi。 (这里当报错的时候可以安装试试)

yum -y install iscsi-initiator-utils
systemctl enable iscsid --now
systemctl start iscsid

查看安装状况:

[root@k8s-master01 ~]# kubectl get pod -n openebs
NAME                                            READY   STATUS    RESTARTS         AGE
openebs-cstor-admission-server-b74f5487-lkz84   1/1     Running   1 (6m21s ago)    8h
openebs-cstor-csi-controller-0                  6/6     Running   0                4m44s
openebs-cstor-csi-node-4df4w                    2/2     Running   2 (61m ago)      8h
openebs-cstor-csi-node-x8bmt                    2/2     Running   6 (16m ago)      8h
openebs-cstor-csi-node-zzn4k                    2/2     Running   2 (6m21s ago)    8h
openebs-cstor-cspc-operator-84464fb479-fh949    1/1     Running   3 (16m ago)      8h
openebs-cstor-cvc-operator-646f6f676b-xhd44     1/1     Running   2 (16m ago)      46m
openebs-localpv-provisioner-55b65f8b55-zqj29    1/1     Running   13 (6m23s ago)   8h
openebs-ndm-429hl                               1/1     Running   2 (4m28s ago)    8h
openebs-ndm-9kkzd                               1/1     Running   1 (6m21s ago)    8h
openebs-ndm-operator-6c944d87b6-5ddxz           1/1     Running   2 (16m ago)      46m
openebs-ndm-sqnwx                               1/1     Running   6 (15m ago)      8h

四、添加磁盘

[root@k8s-master01 ~]# kubectl get bd -n openebs
NAME                                           NODENAME       SIZE           CLAIMSTATE   STATUS     AGE
blockdevice-57886fae032a3d3638badeb1282dd67e   k8s-node02     21473771008    Unclaimed    Active     53s
blockdevice-d923fc382d96ff6eea7d9ab8efb66224   k8s-master01   21473771008    Unclaimed    Active     11m
blockdevice-e5009ce419c80719025c4cc9409253ab   k8s-node01     21473771008    Unclaimed    Active     33s

五、配置

5.1 创建cStor存储池

cspc.yaml :

apiVersion: cstor.openebs.io/v1
kind: CStorPoolCluster
metadata:name: cstor-disk-poolnamespace: openebs
spec:pools:- nodeSelector:kubernetes.io/hostname: "k8s-master01"dataRaidGroups:- blockDevices:- blockDeviceName: "blockdevice-d923fc382d96ff6eea7d9ab8efb66224"poolConfig:dataRaidGroupType: "stripe"- nodeSelector:kubernetes.io/hostname: "k8s-node01"dataRaidGroups:- blockDevices:- blockDeviceName: "blockdevice-e5009ce419c80719025c4cc9409253ab"poolConfig:dataRaidGroupType: "stripe"- nodeSelector:kubernetes.io/hostname: "k8s-node02"dataRaidGroups:- blockDevices:- blockDeviceName: "blockdevice-57886fae032a3d3638badeb1282dd67e"poolConfig:dataRaidGroupType: "stripe"

dataRaidGroupType:可以根据您的需要设置为 stripe or mirror 。下面以配置为stripe为例。

[root@k8s-master01 openebs]# kubectl get CStorPoolCluster -n openebs
NAME              HEALTHYINSTANCES   PROVISIONEDINSTANCES   DESIREDINSTANCES   AGE
cstor-disk-pool                      3                      3                  42s

5.2 storageclass创建

5.2.1 cstor的创建

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:name: cstor-csi-disk
provisioner: cstor.csi.openebs.io
allowVolumeExpansion: true
parameters:cas-type: cstor# cstorPoolCluster should have the name of the CSPCcstorPoolCluster: cstor-disk-pool# replicaCount should be <= no. of CSPI created in the selected CSPCreplicaCount: "3"

添加硬盘后查看磁盘情况

磁盘 /dev/sdb:21.5 GB, 21474836480 字节,41943040 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理):512 字节 / 512 字节
I/O 大小(最小/最佳):512 字节 / 512 字节
磁盘标签类型:gpt
Disk identifier: ADA9C10B-8C31-4EE2-A29B-F2701E9554DC#         Start          End    Size  Type            Name1         2048     41943006     20G  Linux filesyste OpenEBS_NDM

5.2.2 jiva

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:name: jiva-storageclassannotations:openebs.io/cas-type: jivacas.openebs.io/config: |- name: StoragePoolvalue: default
provisioner: openebs.io/provisioner-iscsi

5.2.3 hostpath

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:name: localpv-hostpath-scannotations:openebs.io/cas-type: localcas.openebs.io/config: |- name: BasePathvalue: "/var/openebs/local"- name: StorageTypevalue: "hostpath"
provisioner: openebs.io/local

5.2.4 device

下面的类型需要添加硬盘

磁盘 /dev/sdc:21.5 GB, 21474836480 字节,41943040 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理):512 字节 / 512 字节
I/O 大小(最小/最佳):512 字节 / 512 字节
磁盘标签类型:gpt
Disk identifier: BAD0A706-0A9D-478A-85C6-319224EC5D1F#         Start          End    Size  Type            Name1         2048     41943006     20G  Linux filesyste OpenEBS_NDM
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:name: localpv-device-scannotations:openebs.io/cas-type: localcas.openebs.io/config: |- name: StorageTypevalue: "device"- name: FSTypevalue: ext4
provisioner: openebs.io/local

查看:

[root@k8s-master01 openebs]# kubectl get sc -n openebs
NAME               PROVISIONER            RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
cstor-csi-disk     cstor.csi.openebs.io   Delete          Immediate              true                   43s
openebs-device     openebs.io/local       Delete          WaitForFirstConsumer   false                  9h
openebs-hostpath   openebs.io/local       Delete          WaitForFirstConsumer   false                  9h

5.2.5 cStor、Jiva、LocalPV 特性比较:

特性JivacStorLocal PV
轻量级运行于用户空间YesYesYes
同步复制YesYesNo
适合低容量工作负载YesYesYes
支持快照,克隆BasicAdvancedNo
数据一致性YesYesNA
使用 Velero 恢复备份YesYesYes
适合高容量工作负载NoYesYes
自动精简配置YesNo
磁盘池或聚合支持YesNo
动态扩容YesYes
数据弹性 (RAID 支持)YesNo
接近原生磁盘性能NoNoYes

大多数场景推荐 cStor,因其提供了强大的功能,包括快照 / 克隆、存储池功能(如精简资源调配、按需扩容等)。

Jiva 适用于低容量需求的工作负载场景,例如 550G。尽管使用 Jiva 没有空间限制,但建议将其用于低容量工作负载。Jiva 非常易于使用,并提供企业级容器本地存储,而不需要专用硬盘。有快照和克隆功能的需求的场景,优先考虑使用 cStor 而不是 Jiva

5.3 默认sc

kubectl patch storageclass cstor-csi-disk -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/9023.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

蓝桥杯省三爆改省二,省一到底做错了什么?

到底怎么个事 这届蓝桥杯选的软件测试赛道&#xff0c;都说选择大于努力,软件测试一不卷二不难。省赛结束&#xff0c;自己就感觉稳啦&#xff0c;全部都稳啦。没想到一出结果&#xff0c;省三&#xff0c;g了。说落差&#xff0c;是真的有一点&#xff0c;就感觉和自己预期的…

mysql数据库和Oracle数据库除法或乘法,结果保留两位小数

在MySQL和Oracle数据库中&#xff0c;当你执行除法或乘法运算并希望结果保留两位小数时&#xff0c;你可以使用各自的内置函数来达到这个目的。 MySQL 在MySQL中&#xff0c;你可以使用ROUND()函数来四舍五入到指定的小数位数。例如&#xff0c;要保留两位小数&#xff0c;你…

汽车软件研发工具链丨怿星科技新产品重磅发布

“创新引领未来”聚焦汽车软件新基建&#xff0c;4月27日下午&#xff0c;怿星科技2024新产品发布会在北京圆满举行&#xff01;智能汽车领域的企业代表、知名大企业负责人、投资机构代表、研究机构代表齐聚现场&#xff0c;线上直播同步开启&#xff0c;共同见证怿星科技从单点…

经典回溯算法之N皇后问题

问题描述&#xff1a; 有一个N*N的棋盘&#xff0c;需要将N个皇后放在棋盘上&#xff0c;保证棋盘的每一行每一列每一左斜列每一右斜列都最多只能有一个皇后。 按照国际象棋的规则&#xff0c;皇后可以攻击与之处在同一行或同一列或同一斜线上的棋子。 n 皇后问题 研究的是如…

Java | Leetcode Java题解之第71题简化路径

题目&#xff1a; 题解&#xff1a; class Solution {public String simplifyPath(String path) {String[] names path.split("/");Deque<String> stack new ArrayDeque<String>();for (String name : names) {if ("..".equals(name)) {if …

【基于 PyTorch 的 Python 深度学习】5 机器学习基础(3)

前言 文章性质&#xff1a;学习笔记 &#x1f4d6; 学习资料&#xff1a;吴茂贵《 Python 深度学习基于 PyTorch ( 第 2 版 ) 》【ISBN】978-7-111-71880-2 主要内容&#xff1a;根据学习资料撰写的学习笔记&#xff0c;该篇主要介绍了单 GPU 加速和多 GPU 加速&#xff0c;以及…

代码随想录leetcode200题之哈希表

目录 1 介绍2 训练3 参考 1 介绍 本博客用来记录代码随想录leetcode200题中哈希表部分的题目。 2 训练 题目1&#xff1a;242. 有效的字母异位词 C代码如下&#xff0c; class Solution { public:bool isAnagram(string s, string t) {vector<int> cnt1(26, 0), cnt…

洛谷 P3379 [模板] 最近公共祖先(LCA)

【模板】最近公共祖先&#xff08;LCA&#xff09; 题目描述 如题&#xff0c;给定一棵有根多叉树&#xff0c;请求出指定两个点直接最近的公共祖先。 输入格式 第一行包含三个正整数 N , M , S N,M,S N,M,S&#xff0c;分别表示树的结点个数、询问的个数和树根结点的序号…

第十一节 LLAVA模型lora训练(包含lora权重预加载与源码解读)

文章目录 前言一、语言模型加载1、语言模型加载2、语言模型训练处理a、embeding处理b、语言模型lora训练处理lora参数配置peft配置语言模型lora参数c、语言模型tokenizer加载加载tokenizer设置对话开头语句二、视觉模型加载1、加载图像模型主函数源码解读2、initialize_vision_…

达梦数据库使用-外部表

文章目录 前言一、外部表使用1.外部表定义1.1 数据文件定义方式1.2控制文件定义方式2.外部表定义注意事项二、使用示例1.disql工具的脚本方式1.1 使用数据文件1.2 使用控制文件2.DM管理工具的图形方式2.1 创建目录2.2.创建指向数据文件的外部表2.3.创建指向控制文件的外部表三、…

英语口语情景对话视频软件分享!

在当今全球化的时代&#xff0c;英语已成为一种通用的国际语言。为了提高英语口语能力&#xff0c;越来越多的人选择使用英语口语情景对话视频软件。本文将为您推荐几款备受欢迎的英语口语情景对话视频软件&#xff0c;帮助您轻松提高英语口语水平。 AI外语陪练 AI外语陪练软件…

Leetcode 3130. Find All Possible Stable Binary Arrays II

Leetcode 3130. Find All Possible Stable Binary Arrays II 0. 序言1. 算法思路2. 代码实现 1. 第一版本2. 第二版本3. 第三版本4. 第四版本 3. 算法优化 1. 算法实现一2. 算法实现二 题目链接&#xff1a;3130. Find All Possible Stable Binary Arrays II 0. 序言 这道题…

已经有 Prometheus 了,还需要夜莺?

谈起当下监控&#xff0c;Prometheus 无疑是最火的项目&#xff0c;如果只是监控机器、网络设备&#xff0c;Zabbix 尚可一战&#xff0c;如果既要监控设备又要监控应用程序、Kubernetes 等基础设施&#xff0c;Prometheus 就是最佳选择。甚至有些开源项目&#xff0c;已经内置…

LoRA的原理简介

在文章开始前先澄清一个概念&#xff0c;需要区分形近的单词"LoRa"&#xff08;long range&#xff09;&#xff0c;这是一项通信技术。熟悉物联网行业的朋友相对会比较熟悉LoRa这项技术&#xff0c;因为有些设备比如电梯的控制就使用了这个技术进行本地数据和命令的…

小红书释放被封手机号 无限注册

前几年抖音也可以释放被封手机号 那时候都不重视 导致现在被封手机号想释放 基本不可能的 或者就是最少几百块 有专业的人帮你通过某些信息差释放 本教程是拆解 小红书被封手机号怎么释放&#xff0c;从今年开始&#xff0c;被封的手机号无法注销了 所以很困扰 那么本教程来…

TypeScript中的数据选择艺术:pick和omit操作入门

引言 标题&#xff1a;TypeScript中的数据选择艺术&#xff1a;pick和omit操作入门简短介绍&#xff1a;探索TypeScript中的实用工具类型Pick和Omit&#xff0c;它们可以帮助你从现有类型中选择或排除属性&#xff0c;简化你的代码并提高类型安全性。 背景知识 易于理解的解…

基于一种改进小波阈值的微震信号降噪方法(MATLAB)

微震是指岩体由于在人为扰动或自然原因下受力变形&#xff0c;发生破裂过程中能量积聚而释放的弹性波或应力波。微震信号具有信噪比低、不稳定性、瞬时性和多样性等特点。因此&#xff0c;在任何损坏之前都会出现微小的裂缝&#xff0c;这种微小的裂缝是由岩层中应力和应变的变…

PPT职场课:话术+技巧+框架+案例,告别只会念PPT不会讲(8节课)

课程目录 001-讲PPT如何开场及导入?5个简单实用的方法.mp4 002-讲PPT如何过渡衔接结尾?6类话术争来就用.mp4 003-掌握这3个逻辑表达万能框架&#xff0c;搞定98的PPT.mp4 004-学会这3种PPT结构讲解技巧告别只会念不会讲(上).mp4 005-学会这3种PPT结构讲解技巧告别只会念…

Logstash分析MySQL慢查询日志实践

删除匹配到的行&#xff0c;当前行信息不记录到message中

106网页短信群发平台

什么是106网页短信群发平台&#xff1f; 106网页短信群发平台是一种便捷的在线群发工具&#xff0c;通过该平台用户可以方便地向大量的手机号码*。相比传统的群发方式&#xff0c;106网页群发平台具有更高效、更便捷的特点。 为什么选择106网页短信群发平台&#xff1f; 高效快…