自下而上-存储全栈(TiDB/RockDB/SPDK/fuse/ceph/NVMe/ext4)存储技术专家成长路线

数字化时代的到来带来了大规模数据的产生,各行各业都面临着数据爆炸的挑战。 随着云计算、物联网、人工智能等新兴技术的发展,对存储技术的需求也越来越多样化。不同应用场景对存储的容量、性能、可靠性和成本等方面都有不同的要求。具备存储技术知识和技能的人才更具有竞争力。

在这里插入图片描述

存储技术专家成长路线

技术点主要运用在存储库架构设计、企业级存储系统、分布式存储系统、云存储系统、分布式数据库、高性能存储引擎、文件系统等领域。

1.接口驱动层

在存储开发中,接口驱动层是指用于访问和操作底层存储系统的软件层。它提供了标准化的接口规范,使应用程序能够对存储设备进行读取、写入、管理和配置等操作。

  • NVMe(Non-Volatile Memory Express 是一种高性能、低延迟的存储接口协议,专门为固态硬盘(SSD)设计而开发的。)
  • SATA(Serial Advanced Technology Attachment 是一种串行的计算机总线接口,广泛应用于存储设备、光驱、显卡等各种计算机硬件中。在存储开发中的作用是提供基本的存储接口、提供高带宽传输、兼容性强和价格低廉。)
  • SCSi(Small Computer System Interface 是一种用于计算机和外部设备间进行数据传输的接口标准。提供高性能数据传输,支持多设备连接,提供高可靠性和冗余性,并具有高度灵活性。)
  • RDMA(Remote Direct Memory Access 是一种数据传输机制,允许两个计算机在不使用CPU的情况下直接从彼此的内存中读取和写入数据。在存储开发中的作用是降低延迟、提高吞吐量,提升存储性能,增强可靠性和数据完整性,并简化存储网络架构。)

2.内核层

内核层通常指的是存储软件的核心组成部分,即负责实现存储系统的基本功能和服务的程序模块。内核层通常包含多个子模块,例如文件系统、卷管理、快照、克隆、数据保护和恢复等,这些子模块共同构成了存储系统的核心。

  • ext4(第四扩展文件系统,是Linux操作系统中常用的一种文件系统。学习ext4文件系统可以帮助存储开发人员更好地理解和应用文件系统相关的技术和原理,从而提升存储系统的性能、可靠性和扩展性。)
  • xfs(XFS是一种高性能的文件系统,学习XFS可以帮助理解和应用高性能、大规模数据管理、可靠性和扩展性等方面的知识)
  • btrfs(Btrfs是一种先进的Linux文件系统,它的全称是B-tree file system。Btrfs采用了许多先进的技术,如快照、校验和、多设备支持等,可以提供出色的性能、可靠性和灵活性。学习Btrfs可以帮助掌握先进的存储技术、理解大规模数据管理、实现快照和备份、保护数据完整性等方面的知识。这些都是构建高效、可靠的存储系统所必需的技能和知识。)
  • procfs(procfs是一个虚拟的文件系统,用于提供有关系统和进程状态的动态信息。学习procfs可以更好地理解和管理存储系统。)
  • tracefs(tracefs是一个用于跟踪和调试内核的文件系统。它提供了一种方便的机制来跟踪和调试内核函数的执行流程和性能数据,可以帮助存储开发人员解决内核相关的问题、优化存储系统的性能,并验证功能的正确性。)
  • 项目:无存储文件系统Kingfs
  • 项目: nvme文件系统zerofs

3.vfs

VFS(Virtual File System,虚拟文件系统)是一个抽象层,用于在操作系统中统一管理不同的文件系统类型和访问方式。它是操作系统内核中的一部分,提供了对文件和文件系统的抽象接口,使得应用程序可以通过统一的方式来访问各种不同类型的文件系统。

学习VFS可以帮助理解和支持多种文件系统类型,简化文件系统与存储系统的交互方式,优化文件系统的性能,以及调试和开发文件系统。

io_uring

io_uring 是一个 Linux 内核提供的异步 I/O 框架,它旨在提供高性能和低延迟的 I/O 操作。io_uring 的设计目标是为用户空间程序提供一种高效的异步 I/O 接口,以取代传统的阻塞式 I/O 和其他异步 I/O 接口的局限性。

通过使用 io_uring,开发人员可以利用其高性能、低延迟和异步并行的特性来优化应用程序的 I/O 操作。它适用于需要处理大量 I/O 的场景,例如数据库、文件服务器、网络服务器等。同时,io_uring 的设计和接口相对简洁,易于使用和理解,使开发人员能够更容易地编写高效的异步 I/O 程序。

  • io_uring异步io
  • cq与sq的运行原理
  • 无锁队列
  • io_uring的setup/enter/register
  • liburing的开发库
  • liburing接口与psync接口的关系
  • 内存映射IO (mmap)
  • 零拷贝
  • psync与io_uring的iops性能对比
  • io_uring与epoll的qps对比
  • 项目:实现tcp+io_uring

fuse

FUSE(Filesystem in Userspace)是一个在用户空间实现文件系统的框架。它允许开发人员通过编写用户空间程序来创建自定义的文件系统,而无需修改操作系统内核。

帮助理解实现灵活的存储系统、定制化的数据管理逻辑,掌握文件系统操作和性能优化的技巧,并具备跨平台开发的能力。

  • fuse的运行原理
  • fuse内核模块
  • libfuse的开发库
  • fuse_operation结构体分析
  • 实现fuse文件系统
  • 项目:fuse与opencv实现图片加水印

4.SPDK

SPDK(Storage Performance Development Kit)是一个用于构建高性能存储应用程序的开源软件开发工具包。它专注于利用现代硬件和存储技术的特性,以最大化存储应用程序的性能。

SPDK 提供了一组库、驱动程序和工具,帮助开发人员构建低延迟、高吞吐量的存储应用程序。

SPDK 主要用于构建高性能存储应用程序,如存储控制器、分布式存储系统、虚拟化存储、数据库存储引擎等。

学习SPDK帮助你构建高性能存储应用程序,理解和应用用户空间驱动程序开发、零拷贝数据传输、事件驱动架构等关键技术,提高存储系统的性能和响应速度。

项目:文件系统

  • spdk blob文件系统设计分析
  • 文件系统引入线程与json配置解析
  • blobstore与blob的关系
  • 4层结构设计vfs
  • 从bIob读写到文件系统的原语操作实现
  • spdk的异步改造posix同步api
  • open/write/read/close的实现
  • LD_PRELOAD更好mysq|系统调用实现
  • iodepth讲解
  • 随机读,随机写,顺序读,顺序写

项目:NVMe的kv存储

  • KV存储拆解Set,Get,Mod,Del
  • bdev与blob对于kv存储的选择
  • kv service接口 set,get,modify,delete
  • pagechunk的get与put
  • btree/hash/map/radixtree/rbtree之间的选择
  • slab分配slot与释放slot
  • 为kv存储加上conf文件
  • kv存储测试用例与性能测试

5.应用层

项目:图床存储引擎 fastdfs

FastDFS是一个开源的分布式文件系统,它旨在解决大规模文件存储问题。FastDFS具有高性能、高可靠性和可扩展性,适用于需要存储大量小文件的场景,如图片存储、视频存储等。

学习FastDFS可以帮助你构建高性能、可扩展和可靠的分布式文件存储系统,满足大规模文件存储和检索的需求。此外,FastDFS的轻量级部署和易用性也使其成为存储开发的一种理想选择。

  • fastdfs架构分析和配置
  • 快速配置fastdfs
  • 上传文件逻辑分析
  • 下载文件逻辑分析
  • tracker,storage分 析
  • 存储机制
  • 支持断点续传
  • 相同文件内容只保存一份
  • 同步机制
  • 线性扩容
  • 如何实现高可用
  • 负载均衡
  • fastdfs-nginx-module模块分析
  • fastcgi请求与响应
  • nginx与fastcgi如何通信
  • nginx-fastcgi-fastdfs如何实现上传下载
  • http接口设计
  • 图床数据库设计
  • 图床文件上传,下载,分享功能实现
  • 业务流程实现

ceph

Ceph是一个开源的分布式存储系统,旨在提供可扩展性、高性能和高可靠性的存储解决方案。Ceph的设计理念是通过将存储和计算资源整合在一起,构建一个统一的分布式存储平台,能够同时支持对象存储、块存储和文件系统存储。

通过学习和使用Ceph可以构建高可靠性、高性能和可扩展的分布式存储解决方案,满足不同应用对存储的需求。

  • ceph的Docker集群部署
  • librados写入
  • 后端存储 ObjectStore
  • 存储池
  • 数据操作流程
  • RBDCache具体实现
  • Ceph加密和压缩
  • CRUSH算法
  • dmClock客户端
  • Ceph性能测试与分析

RockDB

RockDB是一个高性能、可靠性强且易于使用的嵌入式键值存储引擎。它适用于需要快速、持久化存储和检索大量数据的应用程序,并提供了灵活的数据模型选择。

学习RockDB可以帮助你掌握嵌入式高性能存储引擎的集成和应用,以满足应用程序对数据存储的高性能、持久化和可靠性等需求。这对于构建高效的数据存储系统和提供良好的用户体验至关重要。

  • LSM-Tree对于磁盘访问速度
  • Memtable落盘策略
  • SST文件格式
  • 预写式日志 Write-Ahead Log
  • BlockCache LRU缓存
  • Clock缓存机制
  • 写入流程
  • 读取流程
  • LSM-Tree的三大问 题
  • In-Memory Write Buffer

TiDB

TiDB是一个具有分布式架构、强一致性、ACID事务支持和水平扩展能力的开源关系型数据库。

学习TiDB可以帮助你掌握分布式关系型数据库的设计、部署和优化技术,满足应用程序对高可用性、扩展性和性能的要求,从而更好地应对大规模数据存储和处理的挑战。

  • 分布式关系型数据库 兼容MySQL5.7
  • TiDB分布式数据库整体架构
  • 水平扩展 redis-cluster
  • HTAP的OLTP与OLAP
  • TiDB本地部署
  • 集群测试
  • TiDB Server的模块分析
  • Physical与Logical Opt iomizer
  • 存储节点与数据映射关系
  • PD Server调度
  • TiKV Server数据存储
  • 分布式事务与MPP
  • WriteStall写停顿
  • raft运行机制
  • 两阶段提交
  • 隔离级别
  • MVCC
  • TiFlash的列式存储
  • raft列、lock列、write列、default列

系统性视频教程

详情 自下而上-存储全栈(TiDB/RockDB/SPDK/fuse/ceph/NVMe/ext4)

20+存储领域必备技术点

5个手写实现项目

1W+行代码

参考资料

  • ext4 Data Struct And Algorithms
  • NVM-Express-Base- Specification-2.0c-2022
  • A Remote Direct Memory Access Protocol Specificati on(rfc5040)
  • SCSl Commands Reference Manual
  • Serial ATA International Organization
  • Supplement to InfiniBand Architecture Specification
  • XFS FileSystem Structure
  • BTRFS: The Linux B-Tree FileSystem

对标岗位

  • 存储开发工程师
  • 分布式存储工程师
  • 云存储开发工程师
  • KV存储技术专家
  • SPDK开发工程师
  • 存储引擎研发工程师

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/207184.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

机器学习-聚类问题

前言 聚类算法又叫做”无监督分类“,目标是通过对无标记训练样本来揭示数据的内在性质及 规律,为进一步的数据分析提供基础。 Kmeans 作为聚类算法的典型代表,Kmeans可以说是最简单的聚类算法,没有之一,那她是怎么完…

MySQL为何偏爱B+树索引

一、MySQL、B树概念 MySQL是一种关系型数据库,它使用SQL语言来操作数据。SQL语言可以实现对数据的增删改查等操作,但是如果数据量很大,那么这些操作的效率就会很低。为了提高效率,MySQL引入了索引的概念。 索引是一种数据结构&am…

人体关键点检测1:人体姿势估计数据集

人体关键点检测1:人体姿势估计数据集 目录 人体关键点检测1:人体姿势估计数据集 1.人体姿态估计 2.人体姿势估计数据集 (1)COCO数据集 (2)MPII数据集 (3)Human3.6M &#xf…

MS5228/5248/5268:2.7V 到 5.5V、 12/14/16Bit、内置基准、八通道数模转换器

MS5228/MS5248/MS5268 是一款 12/14/16bit 八通道输出的电压型 DAC ,内部集成上电复位电路、可选内部基准、接口采用四线串口模式, 最高工作频率可以到 40MHz ,可以兼容 SPI 、 QSPI 、 DSP 接口和 Microwire 串口。输出接到一个 …

<习题集><LeetCode><链表><2/19/21/23/24>

目录 2. 两数相加 19. 删除链表的倒数第 N 个结点 21. 合并两个有序链表 23. 合并 K 个升序链表 24. 两两交换链表中的节点 2. 两数相加 https://leetcode.cn/problems/add-two-numbers/ public ListNode addTwoNumbers(ListNode l1, ListNode l2) {//head是cur链表头节点…

Go语言实现深度学习的正向传播和反向传播

文章目录 开发前言开发理论图解理论数据类型数学函数数据节点统一抽象变量数据节点常量数据节点单目运算封装双目运算封装算子节点统一抽象基础算子加法算子减法算子乘法算子除法算子指数算子对数算子正切算子正弦算子余弦算子数据流图正向传播反向传播正向训练反向训练运行示例…

船舶机电设备振动数据采集监控系统解决方案

船舶运行中,通常需要通过振动数据采集系统对船舶的各个机电设备运行进行监控,有助于在设备故障时快速预警,进行诊断、分析和维护,保证船舶机电设备正常工作,从而确保工作人员及船舶的安全。 船舶各种机电设备会产生大…

【模型量化】神经网络量化基础及代码学习总结

1 量化的介绍 量化是减少神经网络计算时间和能耗的最有效的方法之一。在神经网络量化中,权重和激活张量存储在比训练时通常使用的16-bit或32-bit更低的比特精度。当从32-bit降低到8-bit,存储张量的内存开销减少了4倍,矩阵乘法的计算成本则二…

ALNS算法中随机化重要性的评价

文章概述 本研究分析了在海上提货和交付问题中使用的ALNS元启发式算法中的随机化成分。研究者提出了简单的确定性替代方案,并通过实验比较了随机化和确定性成分的性能。结果表明,初始实现的简单确定性替代方案能够与随机化成分的性能相匹配。这项研究为…

IDEA使用git从远程仓库获取项目

将地址填入url中 然后直接clone就行

《Easy3d+Qt+VTK》学习

《Easy3dQtVTK》学习-1、编译与配置 一、编译二、配置注 一、编译 1、 资源下载:easy3d giuhub 2、解压缩 3、用qt打开CMakeLists.txt即可 4、点击项目,选择debug或者release,图中3处可自行选择,因为我的qt版本是6&#xff0c…

在linux上如何运用虚拟数据优化器VDO

本章主要介绍虚拟化数据优化器。 什么是虚拟数据优化器VDO 创建VDO设备以节约硬盘空间 16.1 了解什么是VDO VDO全称是Virtual Data Optimize(虚拟数据优化),主要是为了节省硬盘空间。 现在假设有两个文件file1和 file2,大小都是10G。file…

cpu 300% 爆满 内存占用不高 排查

top查询 cpu最高的PID ps -ef | grep PID 查看具体哪一个jar服务 jstack -l PID > ./jstack.log 下载/打印进程的线程栈信息 可以加信息简单分析 或进一步 查看堆内存使用情况 jmap -heap Java进程id jstack.log 信息示例 Full thread dump Java HotSpot(TM) 64-Bit Se…

横向扩展统一存储与备份服务器功能

Infortrend 更新了GS,GSe,GSe Pro统一存储系列的备份服务器功能。该功能降低数据备份成本,并提供灵活的备份策略。通过备份服务器功能,用户可以通过多种途径实现数据备份,包括公有云(兼容S3)、文…

C/C++,树算法——二叉树的插入(Insert)算法之源程序

1 文本格式 #include<iostream> using namespace std; // A BTree node class BTreeNode { int* keys; // An array of keys int t; // Minimum degree (defines the range for number of keys) BTreeNode** C; // An array of child pointers int …

dell服务器重启后显示器黑屏

1.硬件层面&#xff1a;观察主机的指示灯 &#xff08;1&#xff09;指示灯偏黄&#xff0c;硬件存在问题&#xff08;内存条有静电&#xff0c;拔出后用橡皮擦擦拭&#xff1b;或GPU松动&#xff09; a.电源指示灯黄&#xff0c;闪烁三下再闪烁一下&#xff0c;扣下主板上的纽…

Python Appium Selenium 查杀进程的实用方法

一、前置说明 在自动化过程中&#xff0c;经常需要在命令行中执行一些操作&#xff0c;比如启动应用、查杀应用等&#xff0c;因此可以封装成一个CommandExecutor来专门处理这些事情。 二、操作步骤 # cmd_util.pyimport logging import os import platform import shutil i…

Java编程中通用的正则表达式(二)

正则表达式&#xff0c;又称正则式、规则表达式、正规表达式、正则模式或简称正则&#xff0c;是一种用来匹配字符串的工具。它是一种字符串模式的表示方法&#xff0c;可以用来检索、替换和验证文本。正则表达式是一个字符串&#xff0c;它描述了一些字符的组合&#xff0c;这…

dockers安装rabbitmq

RabbitMQ: easy to use, flexible messaging and streaming — RabbitMQhttps://www.rabbitmq.com/ Downloading and Installing RabbitMQ — RabbitMQ docker run -it --rm --name rabbitmq -p 5672:5672 -p 15672:15672 rabbitmq:3.12-management 之后参照&#xff1a;dock…

高低压配电智能监控系统

高低压配电智能监控系统是一种综合运用物联网、云计算、大数据和人工智能等技术的智能化监控系统&#xff0c;主要用于对高低压配电设备进行实时监测、数据采集、故障预警和远程管理。 该系统通过安装智能传感器、智能设备、网络通讯技术等手段&#xff0c;依托电易云-智慧电力…