一、背景
1、问题背景
业务有一台物理开发服务器，文件系统有损坏；由于重启时没有检查，导致重启卡住。后面通过断电重新启动之后，无法进入系统；进入救援模式，注释数据盘挂载。重启之后进入系统，发现数据盘做的lvm信息丢失；通过pvs、vgs、lvs均无法看该lvm信息；lsblk 命令查询，也只能看到只有盘符/dev/sdb和分区信息/dev/sdb1
2、主机信息
- 操作系统： ubuntu16.04
- 逻辑卷名称：/dev/vg_data/lv_data
二、lvm恢复步骤
1、确认lvm备份信息是否存在
备份目录一般在：/etc/lvm/arcive或者/etc/lvm/backup下
root@Ubuntu-8-70:/etc/lvm# ll
total 108
drwxr-xr-x 4 root root 4096 Nov 23 11:21 ./
drwxr-xr-x 116 root root 12288 Nov 26 09:29 ../
drwx------ 2 root root 4096 Nov 26 09:26 archive/
drwx------ 2 root root 4096 Nov 26 09:26 backup/root@Ubuntu-8-70:/etc/lvm/archive# ll
total 24
drwx------ 2 root root 4096 Nov 26 09:26 ./
drwxr-xr-x 4 root root 4096 Nov 23 11:21 ../
-rw------- 1 root root 1338 Aug 13 2020 vg_data_00000-1854432265.vg ##lvm备份存在root@Ubuntu-8-70:~# cat /etc/lvm/archive/vg_data_00000-1854432265.vg
# Generated by LVM2 version 2.02.133(2) (2015-10-30): Thu Aug 13 23:57:38 2020contents = "Text Format Volume Group"
version = 1description = "Created *before* executing 'pvscan --cache --activate ay --major 8 --minor 17'"creation_host = "Ubuntu" # Linux Ubuntu 4.10.0-28-generic #32~16.04.2-Ubuntu SMP Thu Jul 20 10:19:48 UTC 2017 x86_64
creation_time = 1597334258 # Thu Aug 13 23:57:38 2020vg_data {id = "qPdnvh-uHhd-pSdO-1yz3-KgOz-Q3eD-tguAyz"seqno = 2format = "lvm2" # informationalstatus = ["RESIZEABLE", "READ", "WRITE"]flags = []extent_size = 8192 # 4 Megabytesmax_lv = 0max_pv = 0metadata_copies = 0physical_volumes {pv0 {id = "e4lnF9-ccfB-6ezE-Dh4Z-WwQj-IvOC-RaYjyP"device = "/dev/sdb1" # Hint onlystatus = ["ALLOCATABLE"]flags = []dev_size = 21090529280 # 9.82104 Terabytespe_start = 2048pe_count = 2574527 # 9.82104 Terabytes}}logical_volumes {lv_data {id = "wV3cRh-u0YD-nT0C-2Wcf-vAoq-OCwL-QfwxCA"status = ["READ", "WRITE", "VISIBLE"]flags = []creation_host = "Ubuntu"creation_time = 1597333822 # 2020-08-13 23:50:22 +0800segment_count = 1segment1 {start_extent = 0extent_count = 2574527 # 9.82104 Terabytestype = "striped"stripe_count = 1 # linearstripes = ["pv0", 0]}}}
}
2、数据备份，操作前一定要先备份数据
由于数据盘文件系统已经损坏，无法从文件系统侧备份，故使用dd，备份整个/dev/sdb1；数据盘总空间：9.8T，已经使用空间6.6T，需要先准备一个可以容纳整个9.8T磁盘的存储空间。
dd if=/dev/sdb1 of=/backup/sdb_backup.img bs=64k conv=noerror,sync status=progress ##参数解析：
if：输入文件，表示需要读取的文件或设备；
of：输出文件，表示需要读取的文件或设备；
bs: 块大小，指定数据读写块的大小，可以适当调整更大的值，值越大相对系统调用就少，整体传输速度会更快些
status=progress 可获取实时的进度信息
3、进行lvm恢复
（1）、恢复物理卷上的元数据
- 查看备份文件中的物理卷id
root@Ubuntu-8-70:~# cat /etc/lvm/archive/vg_data_00000-1854432265.vg
............physical_volumes {pv0 {id = "e4lnF9-ccfB-6ezE-Dh4Z-WwQj-IvOC-RaYjyP"device = "/dev/sdb1" # Hint onlystatus = ["ALLOCATABLE"]flags = []dev_size = 21090529280 # 9.82104 Terabytespe_start = 2048pe_count = 2574527 # 9.82104 Terabytes}}
............root@Ubuntu-8-70:~# pvcreate --uuid e4lnF9-ccfB-6ezE-Dh4Z-WwQj-IvOC-RaYjyP --restorefile /etc/lvm/archive/vg_data_00000-1854432265.vg /dev/sdb1Physical volume "/dev/sdb1" successfully created
（2）、恢复卷组的元数据
vgcfgrestore vg_data
（3）、查看卷组上的逻辑卷并激活
root@Ubuntu-8-70:~# lvs --all --options +devices vg_data ##列出卷组的逻辑卷，恢复的逻辑卷处于未激活状态root@Ubuntu-8-70:~# lvchange --activate y vg_data/lv_data ##激活逻辑卷root@Ubuntu-8-70:~# mount /dev/vg_data/lv_data /work ##尝试挂载
备注：取消/etc/fstab中/work开机挂载注释，重启服务器验证是否能正常开机和正常挂载
三、修复文件系统（额外工作，如果文件系统没有这个问题，则无需处理）
1、问题表现
root@Ubuntu-8-70:/work# cd /work/root@Ubuntu-8-70:/work# ll -t ##出现报错提示
ls: cannot access 'nohup.out': Structure needs cleaning
total 1065472
..........
-?????????? ? ? ? ? ? nohup.out
2、修复处理
root@Ubuntu-8-70:~# umount -l /work ## 卸载有问题的分区root@Ubuntu-8-70:~# fsck.ext4 -y /dev/vg_data/lv_data ##-y：参数自动确认yes选项，避免交互式操作，一定要记得加上；fsck.ext4用于检查和修复 ext4 文件系统的工具root@Ubuntu-8-70:~# mount -a ##重新挂载数据盘root@Ubuntu-8-70:/work# ll ##验证修复结果
total 1065584
drwxr-xr-x. 18 root root 4096 Nov 26 09:30 ./
drwxr-xr-x. 29 root root 4096 Nov 25 10:00 ../
.......
p--S------ 1 402656438 543168512 0 Oct 24 1994 nohup.out|
.......root@Ubuntu-8-70:/work# rm -rf nohup.out
