【linux】多路径|Multipath I/O 技术

目录

简略

详细

什么是多路径?

Multipath安装与使用

安装

使用

Linux下multipath软件介绍

附录

配置文件说明

 其他解


简略

详细

什么是多路径?

普通的电脑主机都是一个硬盘挂接到一个总线上,这里是一对一的关系。

而到了分布式环境,主机和存储网络连接,中间每一层可能存在多块网卡,多个交换机可选,就构成了多对多的关系。

也就是说,主机到存储可以有多条路径可以选择。主机到存储之间的IO由多条路径可以选择,那么就有以下问题需要解决:

1 ) 每条路径如何表达?

2 )I/O流量如何选择路径?

3) 流量如何在多条路径之间分配?(负载均衡)

4) 其中一条路径坏掉了,如何处理? (高可用)

 第一条比较简单,每条路径,让操作系统把每条路径识别成独立的磁盘即可,这两个识别出的磁盘实际上只是通向同一个物理盘的不同路径而已,如下图:

IO 可以从两张网卡中的任意一张到达存储设备RDID A,也就是有2条路径,把这两条路径设备成/dev/hba1 /dev/hba2 两块盘. 选择其中一块盘写数据即可. 实际都是向RDID A写数据. 对磁盘/dev/hba1就是走绿色那条路径,/dev/hba2写就是走蓝色那条路径.

 lsblk 会看到下面的输出,/dev/hba1 /dev/hba2 两块盘实际指向的是同一个物理存储设备 253:2,映射为多路径设备mpatha

# lsblk
NAME            MAJ:MIN RM  SIZE RO TYPE  MOUNTPOINT
……
hda1              8:48   0   30G  0 disk
└─mpatha        253:2    0   30G  0 mpath
hda2              8:64   0   30G  0 disk
└─mpatha        253:2    0   30G  0 mpath

 

 

那么2 )I/O流量如何选择路径?  3) 流量如何在多条路径之间分配?(负载均衡)  4) 其中一条路径坏掉了,如何处理? (高可用) 这些问题怎么解决? 这就需要多路径出场了。

 

Multipath I/O 技术

 

当服务器到某一存储设备有多条路径时,每条路径都会识别为一个单独的设备,下IO时,要写哪个设备(既走哪条路径),然后故障时的切换和恢复,IO流量的负载均衡等,都要applicantion自己选择和判断,太麻烦了,还不方便.

于是技术人员编写了一个中间层软件,专门解决 1 ) 每条路径如何表达? 2 )I/O流量如何选择路径?  3) 流量如何在多条路径之间分配?(负载均衡)  4) 其中一条路径坏掉了,如何处理? (高可用这几个问题,这就是多路径技术。

多路径技术其中之一就叫Multipath(linux上的主流),把选择哪条路故障时的切换和恢复,IO流量的负载均衡等Multipath帮你搞定,applicantion全程无感知,对Multipath模拟出来的设备下IO即可,就像写一个普通的盘一样,幸福.

 

 

 

 

Multipath安装与使用

(摘自:Linux下multipath安装与使用-https://blog.csdn.net/u011436427/article/details/113662832

安装

linux中大多已经默认安装了multipath,只需设置开机启动即可.

systemctl enable multipathd.service

使用

 

添加配置文件


需要multipath正常工作只需要如下配置即可,如果想要了解详细的配置,请参考Multipath

# vi /etc/multipath.confblacklist {devnode "^sda"}defaults {user_friendly_names yespath_grouping_policy multibusfailback immediateno_path_retry fail}

 

启动服务

systemctl start multipathd.service

查看服务

# multipath -llmpatha (360000000000000000e00000000010001) dm-2 IET     ,VIRTUAL-DISK
size=30G features='0' hwhandler='0' wp=rw
`-+- policy='service-time 0' prio=1 status=active|- 3:0:0:1 sdd 8:48 active ready running`- 4:0:0:1 sde 8:64 active ready running

检查配置是否成功

如果配置正确的话就会在/dev/mapper/目录下多出mpath0、mpath1(自动分配的名称)等之类设备,不过如果在配置的时候起了别名,会使用别名来代替自动分配的名称

# ll /dev/mapper/

 

 

此时,执行lsblk命令就可以看到多路径磁盘mpatha了:

 

# lsblkNAME            MAJ:MIN RM  SIZE RO TYPE  MOUNTPOINT
sda               8:0    0   20G  0 disk
├─sda1            8:1    0  500M  0 part  /boot
└─sda2            8:2    0 19.5G  0 part├─centos-root 253:0    0 17.5G  0 lvm   /└─centos-swap 253:1    0    2G  0 lvm   [SWAP]
sdb               8:16   0   30G  0 disk
sdc               8:32   0   30G  0 disk
sdd               8:48   0   30G  0 disk
└─mpatha        253:2    0   30G  0 mpath
sde               8:64   0   30G  0 disk
└─mpatha        253:2    0   30G  0 mpath
sr0              11:0    1  603M  0 rom

此时/dev/mapper/mpatha 就是 对应下图的白色方框部分了:

由于mpatha是逻辑设备名,您应该向/dev/mapper/mpatha进行I/O操作,而不是直接向sddsde进行。这是因为mpatha是多路径软件为您抽象出来的设备,它会处理路径选择、故障切换等复杂操作,让您能够像操作一个本地磁盘一样操作远程存储设备。

 

请注意,在向/dev/mapper/mpatha进行I/O操作之前,您需要确保该设备已经正确挂载到文件系统,并且您拥有适当的权限进行读写操作。通常,这可以通过在/etc/fstab中配置自动挂载,或者使用mount命令手动挂载来完成。

此外,如果您在操作系统中执行格式化或分区操作,也应该针对/dev/mapper/mpatha进行,而不是针对sddsde。这是因为mpatha是多路径软件提供的逻辑视图,而sddsde只是物理路径的表示。对物理路径直接进行操作可能会导致数据丢失或不一致。

分区、格式化和创建逻辑卷

接下来,就可以对mpatha做分区、格式化和创建逻辑卷等各种磁盘操作了

 

# /etc/init.d/multipathd start #开启mulitipath服务# multipath -F #删除现有路径# multipath -v2 #格式化路径# multipath -ll #查看多路径

如果配置正确的话就会在/dev/mapper/目录下多出mpathbp1等之类的设备,用fdisk -l命令可以看到多路径软件创建的磁盘,

如:/dev/mapper/mpathbp1

 

格式化硬盘


执行fdisk -l,可以看到存储已经识别成功,并且多路径配置也正确。信息如下:

[root@localhost ~]# fdisk -l......Disk /dev/mapper/mpathb: 2684.4 GB, 2684354560000 bytesheads, 63 sectors/track, 326354 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000Device Boot      Start         End      Blocks   Id  System/dev/mapper/mpathbp1               1      267350  2147483647+  ee  GPT

 

通过上面的信息可以发现已经是GPT的分区格式了,接下来就是需要对硬盘进行格式化。如果不是,需要先执行如下步骤:

 新建分区

[root@localhost ~]# pvcreate /dev/mapper/mpathb[root@localhost ~]# parted /dev/mapper/mpathb
GNU Parted 2.1
Using /dev/mapper/mpathbp1Welcome to GNU Parted! Type 'help' to view a list of commands.(parted) mklabel gpt                #设置分区类型为gpt
(parted) mkpart extended 0% 100%    #扩展分区,并使用整个硬盘
(parted) quit                       #退出                                              
Information: You may need to update /etc/fstab.

格式化&挂载硬盘

[root@localhost ~]# mkfs.ext4 /dev/mapper/mpathbp1
[root@localhost ~]# mount /dev/mapper/mpathbp1 /test

挂载成功后,即可使用了。

当在系统里创建了一个新的分区后,因为mount挂载在重启系统后会失效,所以需要将分区信息写到/etc/fstab文件中让其永久挂载。

[root@localhost ~]# vi /etc/fstab/dev/mapper/mpathbp1    /test                ext4    defaults        1 2

保存退出,重启后/dev/mapper/mpathbp1 就会自动挂载到/test 目录下

Linux下multipath安装与使用_redhat 7 multipath-CSDN博客

 更多配置和维护相关:

Linux Multipath多路径配置:概念、配置、常用维护命令等-https://www.cnblogs.com/liulianzhen99/articles/17968524

Linux下multipath软件介绍

 

Linux下实现多路径的软件是multipath,centos默认已经安装了multipath:

[root@localhost ~]# rpm -qa|grep mapper

device-mapper-multipath-0.4.9-64.el6.x86_64

device-mapper-event-libs-1.02.77-9.el6.x86_64

device-mapper-multipath-libs-0.4.9-64.el6.x86_64

device-mapper-persistent-data-0.1.4-1.el6.x86_64

device-mapper-libs-1.02.77-9.el6.x86_64

device-mapper-event-1.02.77-9.el6.x86_64

device-mapper-1.02.77-9.el6.x86_64

• 解释如以下:

(1)device-mapper-multipath:即multipath-tools。主要提供multipathd和multipath等工具和 multipath.conf等配置文件。这些工具通过device mapper的ioctr的接口创建和配置multipath设备(调用device-mapper的用户空间库,创建的多路径设备会在/dev /mapper中)。

(2)device-mapper:主要包括两大部分:内核部分和用户部分。

其中内核部分主要由device mapper核心(dm.ko)和一些target driver(md-multipath.ko)。核心完成设备的映射,而target根据映射关系和自身特点具体处理从mappered device 下来的i/o。同时,在核心部分,提供了一个接口,用户通过ioctr可和内核部分通信,以指导内核驱动的行为,比如如何创建mappered device,这些divece的属性等。linux device mapper的用户空间部分主要包括device-mapper这个包。其中包括dmsetup工具和一些帮助创建和配置mappered device的库。这些库主要抽象,封装了与ioctr通信的接口,以便方便创建和配置mappered device。multipath-tool的程序中就需要调用这些库。

(3)dm-multipath.ko和dm.ko:dm.ko是device mapper驱动。它是实现multipath的基础。dm-multipath其实是dm的一个target驱动。

(4)scsi_id: 包含在udev程序包中,可以在multipath.conf中配置该程序来获取scsi设备的序号。通过序号,便可以判断多个路径对应了同一设备。这个是多路径实现的关键。scsi_id是通过sg驱动,向设备发送EVPD page80或page83 的inquery命令来查询scsi设备的标识。但一些设备并不支持EVPD 的inquery命令,所以他们无法被用来生成multipath设备。但可以改写scsi_id,为不能提供scsi设备标识的设备虚拟一个标识符,并输出到标准输出。multipath程序在创建multipath设备时,会调用scsi_id,从其标准输出中获得该设备的scsi id。在改写时,需要修改scsi_id程序的返回值为0。因为在multipath程序中,会检查该直来确定scsi id是否已经成功得到。

 

[root@bootstrap vdbench50401]# lsblk

...

sdb         8:16   0     4G  0 disk

└─mpathah 253:0    0     4G  0 mpath

sdc         8:32   0     4G  0 disk

└─mpathag 253:1    0     4G  0 mpath

sdd         8:48   0     4G  0 disk

└─mpathaj 253:2    0     4G  0 mpath

sde         8:64   0     4G  0 disk

└─mpathai 253:3    0     4G  0 mpath

sdf         8:80   0     4G  0 disk

└─mpathah 253:0    0     4G  0 mpath

sdg         8:96   0     4G  0 disk

└─mpathag 253:1    0     4G  0 mpath

sdh         8:112  0     4G  0 disk

└─mpathaj 253:2    0     4G  0 mpath

sdi         8:128  0     4G  0 disk

└─mpathai 253:3    0     4G  0 mpath

sdj         8:144  0     4G  0 disk

└─mpathah 253:0    0     4G  0 mpath

sdk         8:160  0     4G  0 disk

└─mpathag 253:1    0     4G  0 mpath

sdl         8:176  0     4G  0 disk

└─mpathaj 253:2    0     4G  0 mpath

sdm         8:192  0     4G  0 disk

└─mpathai 253:3    0     4G  0 mpath

 

附录

配置文件说明

这个配置是Linux系统中multipath的配置文件,用于设置多路径I/O(Multipath I/O)的行为。多路径I/O通常用于存储系统,允许操作系统通过多个物理路径(例如,通过不同的网络交换机或物理接口)访问同一个逻辑存储设备。这样做可以提高系统的可靠性和性能。

下面是配置文件的详细解释:

blacklist 部分

conf复制代码

blacklist { 

devnode "^sda" 

}

blacklist部分用于指定哪些设备不应该被多路径软件管理。在这个例子中,所有设备名以sda`开头的设备都不会被多路径软件处理。

defaults 部分

conf复制代码

defaults { 

user_friendly_names yes 

path_grouping_policy multibus 

failback immediate 

no_path_retry fail 

}

defaults`部分用于设置多路径I/O的默认行为。

这个配置文件的主要目的是确保multipath按照预期的方式运行,只管理那些应该被管理的设备,并且具有合适的默认行为。当然,具体的配置可能会根据实际的硬件和网络环境有所不同。

 

 

  • user_friendly_names yes:这个选项允许multipath使用更友好的设备名,而不是默认的、基于路径的设备名。
  • path_grouping_policy multibus:这个选项用于指定如何对路径进行分组。multibus意味着路径将根据它们所在的总线(或接口)进行分组。这对于具有多个接口卡的系统特别有用,因为这样可以确保数据在多个接口之间均匀分布。
  • failback immediate:当一个之前失败的路径变得可用时,这个选项决定了是否应该立即切换回这个路径。immediate表示一旦路径恢复,就应该立即使用它。
  • no_path_retry fail:当没有可用的路径时,这个选项决定了multipath的行为。fail表示当所有路径都失败时,multipath应该立即报告错误,而不是尝试重新连接。

 其他解释

mpath 是多路径(Multipath)设备的缩写。多路径I/O(Multipath I/O,简称MPIO)是一种用于提高存储系统可靠性和性能的技术。它允许一个存储设备(如磁盘或磁带驱动器)通过多个物理路径连接到主机系统。当存储设备有多个路径可用时,多路径软件将选择一个最优路径用于数据I/O。在您的情况中,所有的磁盘都被映射到了mpath设备。您可能使用了某种存储解决方案(如LVM、RAID或其他SAN/NAS设备),并且这些磁盘设备都通过多路径I/O进行了管理。

注意到mpathahmpathagmpathaj, 和 mpathai 这些设备被多次列出,但是它们的设备号(例如 253:0)是相同的,这可能是由于多路径I/O软件的工作方式造成的。尽管多个物理磁盘被列出,但在多路径I/O的上下文中,它们可能被视为单个逻辑设备。

 

 

 

Q:什么是Multipath多路径?

 

答:Multipath I/O 电脑储存技术,指利用两个以上的路径同时在CPU与储存设备之间传送讯号,以达到侦错与强化效能的目的。 简单的说当服务器到某一存储设备有多条路径时,每条路径都会识别为一个单独的设备(不便于使用),而多路径允许您将服务器节点和储存阵列间的多个I/O路径配置为一个单一设备(就是我们所说的链路聚合)即多路径聚合了I/O路径并生成由这些集合路径组成的新设备,这些I/O路径可包含独立电缆、交换器和控制器的实体SAN链接(FC / SAS / iSCSI)等;

:Multipath多路径管理基础介绍与安装配置使用_multipath命令详解-CSDN博客

华为多路径Ultrapath——原理篇 (huawei.com)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/1089.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

UDP协议深度解析:从原理到应用全面剖析

⭐小白苦学IT的博客主页⭐ ⭐初学者必看:Linux操作系统入门⭐ ⭐代码仓库:Linux代码仓库⭐ ❤关注我一起讨论和学习Linux系统 前言 随着互联网的蓬勃发展,网络通信协议成为了支撑其稳定运行的关键。UDP协议作为网络通信协议中的重要一员&…

华为ensp中rip和ospf路由重分发 原理及配置命令

作者主页:点击! ENSP专栏:点击! 创作时间:2024年4月20日20点21分 路由重分发(Route Redistribution)是指路由器将从一种路由协议学习到的路由信息,通过另一种路由协议通告出去的功…

现货白银保证金交易要先分析趋势

现货白银是保证金交易品种,买卖过程中可能会涉及数十倍的资金杠杆,所以它对投资者的分析水平和交易水平的要求都比较高,所以在进入这个市场之前,投资者需要先学习一些基本的分析方法,当中可以分为基本面和技术面两大流…

C++智能指针(二十)

一.RAII(Resource Acquisition Is Initialization) RAII资源获取即初始化,RAII的思想就是在构造时初始化资源,或者托管已经构造的资源。在析构的时候释放资源。一般不允许复制或赋值,并且提供若干的资源访问的方法。比…

URL地址解析至页面展示全过程(面试详细解答)

目录 1、解析URL 2、缓存判断 ​编辑3、DNS解析 ​编辑4、获取MAC地址 5、TCP三次握手 6、HTTP请求 7、服务器处理请求,返回HTTP响应 8、页面渲染 9、TCP四次挥手 10、浏览器解析HTML 11、浏览器布局渲染 1、解析URL 首先会对 URL 进行解析,…

RS232、RS485、RS422、TTL、CAN各自的区别

目录 一:工业串口通信标准RS232、RS485、RS422的区别 第一个区别、硬件管脚接口定义不同 第二个区别、工作方式不同 第三个区别、通信方式不同 第四个区别,逻辑特性不同 第五个区别、抗干扰性、传输距离和传输速率也不同 二:RS232、RS…

docker安装并跑通QQ机器人实践(4)-bs-cqhttp搭建

go-cqhttp,基于 Mirai 以及 MiraiGo 的 OneBot Golang 原生实现,只需简单的配置, 就可以基于 go-cqhttp 使用框架开发,具有轻量, 原生, 高并发, 低占用, 跨平台等特点。 1 go-cqhttp 官网及可执行文件下载链接 go-cqhttp 官网:ht…

【Linux】详解进程通信中信号量的本质同步和互斥的概念临界资源和临界区的概念

一、同步和互斥的概念 1.1、同步 访问资源在安全的前提下,具有一定的顺序性,就叫做同步。在多道程序系统中,由于资源有限,进程或线程之间可能产生冲突。同步机制就是为了解决这些冲突,保证进程或线程之间能够按照既定…

泛型的初步认识(2)

前言~🥳🎉🎉🎉 hellohello~,大家好💕💕,这里是E绵绵呀✋✋ ,如果觉得这篇文章还不错的话还请点赞❤️❤️收藏💞 💞 关注💥&#x…

优思学院|ISO45001职业健康安全管理体系是什么?

ISO45001:2018是新公布的国际标准规范,全球备受期待的职业健康与安全国际标准(OH&S)于2018年公布,并将在全球范围内改变工作场所实践。ISO45001将取代OHSAS18001,成为全球工作场所健康与安全的参考。 ISO45001:201…

微信域名防封/QQ域名防封/域名状态检测/域名防红防封API平台源码

下载地址:API平台源码 这套源码是使用thinkphp3.1.3开发的,可以在PHP5.3-5.6下运行,程序是有一点老了,但是思路仍在!然后,这套源码我已经成功搭建起来了,后台、个人(用户&#xff0…

在瑞芯微RV1126 Linux系统上调试WiFi的详细指南

目录标题 1. **系统和环境准备**2. **检查WiFi设备状态**3. **启用和禁用WiFi接口**4. **扫描可用的WiFi网络**5. **连接到WiFi网络**6. **查看当前的WiFi连接状态**7. **断开和重新连接WiFi**8. **管理WiFi网络配置**9. **使用iw工具进行高级WiFi调试**10. **故障排除和日志获…

算法训练营day16

一、二叉树的最大深度 递归解法 后序遍历(DFS) class Solution {public int maxDepth(TreeNode root) {if (root null) return 0;return Math.max(maxDepth(root.left), maxDepth(root.right)) 1;} }算法解析: 终止条件: 当 root 为空,…

力扣---填充每个节点的下一个右侧节点指针 II

给定一个二叉树: struct Node {int val;Node *left;Node *right;Node *next; } 填充它的每个 next 指针,让这个指针指向其下一个右侧节点。如果找不到下一个右侧节点,则将 next 指针设置为 NULL 。 初始状态下,所有 next 指针都…

牛x之路 - Day1

Day1 微积分之屠龙宝刀(武林秘籍) 之前的一些东西都在pdf上记得笔记, 没有在这个上面展示一遍,只好学到相关内容的时候再提叙啦;所以其实再写这个小记的时候,我已经看了一半的书,但是不要紧&am…

IntelliJ IDEA运行发布传统Java Web Application项目

接 重温8年前项目部署 要求,如何改用IntelliJ IDEA运行发布传统 Java Web Application项目呢,简述步骤如下: 一、下载源码 源码:https://github.com/wysheng/kindergarten 下载后的本地项目路径:/Users/songjianyon…

《Python源码剖析》之对象的基石---PyObject

前言 在python的源代码中,PyObject的结构体定义如下,它的内容看起来很简单,只有3项,分别是:_PyObject_HEAD_EXTRA,ob_refcnt和ob_type,其中_PyObject_HEAD_EXTRA是用于指向活动堆的指针&#x…

学习大数据,所需要的linux基础(1)

文章目录 linux入门概述Linux和Windows的区别CentOS下载地址 Linux文件与目录结构Linux文件Linux目录结构 VI/VIM编辑器vi/vim是什么测试数据集准备一般模式编辑模式指令模式模式间转换 网络配置和系统管理操作查看网络IP和网关配置网络和ip地址ifconfig配置网络接口修改ip地址…

使用Python进行自动化测试

👽发现宝藏 前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。【点击进入巨牛的人工智能学习网站】。 如何使用Python进行自动化测试:测试框架的选择与应用 自动化测试是软件开发过程…

curlftpfs和fusermount

curlftpfs 是一种 Linux 系统下用来将 FTP 服务器挂载为文件系统的工具,这意味着可以通过本地目录来访问和操作 FTP 服务器上的文件。 挂载FTP服务器到本地系统 为了挂载FTP服务器到本地系统中,使用curlftpfs工具,可以按照以下格式书写命令…