Linux块设备缓存Bcache使用

1 Bcache简介

Bcache是Linux内核块层cache，它使用SSD来作为HDD硬盘的cache，从而起到加速作用。Bcache内核模块仅在Linux 3.10及以上版本支持，因此使用Bcache，需要将内核升级到3.10及以上版本，并在内核配置项中打开Bcache模块。

Bcache具有以下特征：

  • 一个缓存设备可以作为多个设备的缓存，并且可以在设备运行时动态添加和删除缓存
  • 可以从非正常状态关机中恢复，只有当缓存写入到后端设备才会确认写完成
  • 正确处理写阻塞和刷缓存
  • 支持writethrough、writeback和writearound等写缓存模式
  • 检测并避开顺序IO（可配置阈值，或关闭该选项）
  • 当检测到SSD延迟超过配置边界值，减少到SSD流量（当一个SSD作为多个磁盘缓存时使用）
  • 缓存不命中时预读（默认关闭）
  • 高性能的writeback实现：脏数据通过排序后再刷到磁盘中。如果设置了writeback_percent值，后台的writeback进程利用PD控制器根据脏数据比例平滑地处理脏数据
  • 使用高效率的B+树，硬件设备足够快速的情况下，bcache随机读可以达到1M IOPS
  • 可在生产中稳定的使用

相关名词：

  • cache device: 缓存盘（前端）, 一般为SSD高速磁盘设备
  • backing device: 数据盘（后端）, 一般为HDD低速磁盘设备

2 Bcache的缓存策略

Bcache支持三种缓存策略：writeback（回写策略）、writethrough（写通策略）、writearound（旁路策略）。默认使用writethrough，缓存策略可动态修改。

  • writeback：此策略模式下，则所有的数据将先写入缓存盘，然后等待系统将数据回写到后端数据盘中，此策略默认关闭。
  • writethrough：此策略模式下，数据同时写入缓存盘和后端数据盘，适用于读多写少的场景，此策略默认打开。
  • writearound：选择此策略，数据将直接写入后端磁盘。

3 编译安装bcache-tools工具

要使用bcache，需要安装相关的工具包bcache-tools。

下载链接：https://git.kernel.org/pub/scm/linux/kernel/git/colyli/bcache-tools.git/snapshot/bcache-tools-1.1.tar.gz

3.1 安装步骤

  1. 将下载的bcache-tools上传到服务器/opt/目录下

  2. 解压缩，切换工作目录

    cd /opt/
tar -zxvf bcache-tools-1.1.tar.gz
cd bcache-tools-1.1/

  3. 安装依赖

    yum install libblkid-devel -y

  4. 安装

    make
make install

  5. 验证

    image-20231017213525225

3.2 依赖处理

pkg-config: not found

# Ubuntu
apt install pkg-config

Package uuid was not found in the pkg-config search path.
Perhaps you should add the directory containing uuid.pc
to the PKG_CONFIG_PATH environment variable
No package ‘uuid’ found

# Ubuntu
apt install uuid-dev

Package blkid was not found in the pkg-config search path.
Perhaps you should add the directory containing blkid.pc
to the PKG_CONFIG_PATH environment variable
No package ‘blkid’ found

# Ubuntu
apt install libblkid-dev
# CentOS
yum install libblkid-devel

Package smartcols was not found in the pkg-config search path.
Perhaps you should add the directory containing `smartcols.pc’
to the PKG_CONFIG_PATH environment variable
No package ‘smartcols’ found

# Ubuntu
apt install libsmartcols-dev
# CentOS
yum install liblibsmartcols-devel

4 Bcache基本操作

/dev/sdl和/dev/sdx是SSD设备，我们用/dev/sdl这块SSD加速/dev/sda和/dev/sdb两块HDD。

4.1 创建bcache后端和缓存磁盘

make-bcache -B /dev/sda /dev/sdb -C /dev/sdl # 自动关联Bcache设备
或者
make-bcache -B /dev/sda /dev/sdb
make-bcache -C /dev/sdl
bcache attach /dev/sdl /dev/sda # 手动关联
bcache attach /dev/sdl /dev/sdb

4.2 查看Bcache当前的状态

[root@ceph01 ~]# bcache show -m
Name            Uuid                                    Cset_Uuid                               Type    State                    Bname           AttachToDev     AttachToCset
/dev/sdb        12dee1f4-05ab-4e13-9262-dcea08dbfda0    354761ed-4f32-4064-8df3-3c74bbaf389b    1 (data)clean(running)   bcache1         /dev/sdl        354761ed-4f32-4064-8df3-3c74bbaf389b
/dev/sdl        f73a9156-8468-4001-b4ef-1ed508d34a08    354761ed-4f32-4064-8df3-3c74bbaf389b    3 (cacheactive           N/A             N/A             N/A
/dev/sda        e022596f-c813-46db-a48e-e7504065be31    354761ed-4f32-4064-8df3-3c74bbaf389b    1 (data)clean(running)   bcache0         /dev/sdl        354761ed-4f32-4064-8df3-3c74bbaf389b

image-20231018173100094

直接把/dev/bcache0和/dev/bcache1当做磁盘分区格式化挂载使用即可。

4.3 删除后端低速数据盘

每一块低速盘(HDD)在经过make-bcache后，都会对应一个Bname，例如，bcache0、bcache1等。删除低速盘就是将对应的Bname设备停掉（删掉）。如果该Bname对应的设备有绑定前端盘（SSD），需要先解除与前端盘的关联。

# 获取后端设备的cset.uuid
[root@ceph01 ~]# bcache-super-show /dev/sda
sb.magic                ok
sb.first_sector         8 [match]
sb.csum                 44D5ED8229F0D21C [match]
sb.version              1 [backing device]dev.label               (empty)
dev.uuid                e022596f-c813-46db-a48e-e7504065be31
dev.sectors_per_block   1
dev.sectors_per_bucket  1024
dev.data.first_sector   16
dev.data.cache_mode     0 [writethrough]
dev.data.cache_state    1 [clean]cset.uuid               354761ed-4f32-4064-8df3-3c74bbaf389b# 通过获取到的cset.uuid移除bcache0的绑定
[root@ceph01 ~]# echo 354761ed-4f32-4064-8df3-3c74bbaf389b > /sys/block/bcache0/bcache/detach

# 删除后端盘
[root@ceph01 ~]# echo 1 > /sys/block/bcache0/bcache/stop

4.4 删除前端高速缓存盘

[root@ceph01 ~]# ls /sys/fs/bcache/
354761ed-4f32-4064-8df3-3c74bbaf389b  register  register_quiet
# 取消前端高速缓存盘的注册
[root@localhost opt]# echo 1 >/sys/fs/bcache/354761ed-4f32-4064-8df3-3c74bbaf389b/unregister

4.5 相关问题

4.5.1 Already a bcache device on /dev/sdX, overwrite with –wipe-bcache

[root@localhost opt]# make-bcache -B /dev/sdc
Already a bcache device on /dev/sdc, overwrite with --wipe-bcache# 这是因为之前这块盘已经make-bcache过了, 可能出现在反复试验的时间, 多次创建、删除
[root@localhost opt]# make-bcache -B /dev/sdc --wipe-bcache
UUID:			3b3c8cd1-864b-4fdb-9283-a2e212d0d290
Set UUID:		92d8465a-0720-4b30-8f7d-988abdf3ee85
version:		1
block_size:		1
data_offset:	16

4.5.2 Can’t open dev /dev/sdX: Device or resource busy

# 一个例子，/dev/sdb是前端缓存盘，/dev/sdc是后端数据盘
# 这个错误出现在我试验过程中, 在重新创建前端高速缓存设备的时间
# 这是因为前端高速缓存设备已经创建过了, 并未删除导致的
# 解决方法：1. 查看ls /sys/fs/bcache/2. 对前端缓存盘进行删除（取消注册）
[root@localhost opt]# lsblk
NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sdb               8:16   0   30G  0 disk 
sdc               8:32   0  100G  0 disk 
sda               8:0    0   20G  0 disk 
├─sda2            8:2    0   19G  0 part 
│ ├─centos-swap 253:1    0    2G  0 lvm  [SWAP]
│ └─centos-root 253:0    0   17G  0 lvm  /
└─sda1            8:1    0    1G  0 part /boot[root@localhost opt]# make-bcache -C /dev/sdb
Can't open dev /dev/sdb: Device or resource busy# 查看前端高速缓存设备注册信息?
[root@localhost opt]# ls /sys/fs/bcache/
0b241b68-c354-461d-9ca1-ea00448057a9  pendings_cleanup  register  register_quiet# 由于当前系统是干净的, 但是/sys/fs/bcache/目录下存在注册信息, 应该是忘记删除导致的
# 对该注册信息进行删除(取消注册)
[root@localhost opt]# echo 1 >/sys/fs/bcache/0b241b68-c354-461d-9ca1-ea00448057a9/unregister[root@localhost opt]# ls /sys/fs/bcache/
pendings_cleanup  register  register_quiet# 重新创建前端高速缓存设备
[root@localhost opt]# make-bcache -C /dev/sdb --wipe-bcache
UUID:			ba550b3f-646b-4740-8192-b9b2bebc3d63
Set UUID:		f8361f22-92c3-421e-8a21-e5a5c6997508
version:		0
nbuckets:		61440
block_size:		1
bucket_size:		1024
nr_in_set:		1
nr_this_dev:		0
first_bucket:		1[root@localhost opt]# ls /sys/fs/bcache/
f8361f22-92c3-421e-8a21-e5a5c6997508  pendings_cleanup  register  register_quiet

参考

  • 鲲鹏BoostKit分布式存储使能套件-基础加速特性-Cache加速-Bcache用户指南-Bcache使用

  • Bcache官方用户文档

  • 更多操作见：SSD加速HDD盘方案之bcache

  • bcache的使用

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/109813.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

modelsim实现二选一以及D触发器并仿真

modelsim实现二选一以及D触发器并仿真

#实验一 二选一 module two_1(in1,in2,cho,out); input[3:0] in1,in2; output[3:0] out; reg[3:0] out; input cho; always* begin if(cho0) outin1; else outin2; end endmodule module two1_test(); …
阅读更多...
Tortoise SVN 察看本地缓存密码

Tortoise SVN 察看本地缓存密码

1、打开设置（Settings） 2、查看保存的数据 3、打开鉴权数据 4、查看密码 CTRLSHIFT双击表格，就会出现一列密码列 （我的是Mac PD虚拟Win11，CTRLSHIFTOPTION双击表格） 原文见这里： Recover SVN …
阅读更多...
2022年03月 Python（二级）真题解析#中国电子学会#全国青少年软件编程等级考试

2022年03月 Python（二级）真题解析#中国电子学会#全国青少年软件编程等级考试

Python编程（1~6级）全部真题・点这里 C/C++编程（1~8级）全部真题・点这里 一、单选题（共25题，每题2分，共50分） 第1题 关于Python中的列表，下列描述错误的是?（ ） A：列表是Python中内置可变序列，是若干元素的有序集合； B：列表中的每一个数据称为“元素”； C：在…
阅读更多...
qt-C++笔记之按行读取文件并切换复选框打印复选框拼接出的字符串

qt-C++笔记之按行读取文件并切换复选框打印复选框拼接出的字符串

qt-C笔记之按行读取文件并切换复选框打印复选框拼接出的字符串 code review! 文章目录 qt-C笔记之按行读取文件并切换复选框打印复选框拼接出的字符串1.运行2.文件结构3.main.cc4.main.pro5.a.txt6.b.txt 1.运行 2.文件结构 3.main.cc 代码 #include <QApplication> #…
阅读更多...
【Arduino+ESP32+腾讯云+sg90】强制门户+腾讯云控制开关灯

【Arduino+ESP32+腾讯云+sg90】强制门户+腾讯云控制开关灯

作者有话说 博主对于Arduino开发并没有基础&#xff0c;但是为了实现更加方便的配网&#xff0c;这几天一直在尝试用ESP32-12F&#xff08;因为手头刚好有一个&#xff0c;其他的也可以&#xff09;来做远程开关灯&#xff01;不知道大家是否注意到&#xff0c;上一篇利用STM32…
阅读更多...
iOS——JSONModel的使用与JSONModel的嵌套

iOS——JSONModel的使用与JSONModel的嵌套

什么是JSONModel JSONModel是一个解析JSON数据的开源库&#xff0c;可以将JSON数据直接解析成自定义的model 使用 JSONModel 非常简单,只需要将你的 model 类继承自 JSONModel ,而同时 model 中的属性名又恰巧可以和 JSON 数据中的 key 名字一样的话,那么非常恭喜你,你的工作…
阅读更多...
“滑动窗口”算法专项训练

“滑动窗口”算法专项训练

目录 题目链接&#xff1a;长度最小的子数组 题目描述 思路分析&#xff1a;滑动窗口(利用单调性&#xff0c;使用"同向双指针来优化) 细节处理 画图解析 代码 题目链接&#xff1a;最大连续1的个数 III 题目描述 思路分析&#xff1a;滑动窗口(同向双指针) 细节…
阅读更多...
【SA8295P 源码分析 (一)】13 - Android GVM 虚拟机 QUPv3 UART / SPI / I2C功能配置及透传配置

【SA8295P 源码分析 (一)】13 - Android GVM 虚拟机 QUPv3 UART / SPI / I2C功能配置及透传配置

【SA8295P 源码分析】13 - Android GVM 虚拟机 QUPv3 UART / SPI / I2C功能配置及透传配置 一、QUP v3 介绍二、QUP v3 UART 功能配置2.1 TrustZone 域 Uart 资源权限配置：以 QUPV3_0_SE2 为例2.2 QNX Host 域关闭 Uart 资源：以 QUPV3_0_SE2 为例2.3 Android Kernel 域使能 U…
阅读更多...
基于openHarmony实现本地UDP通信

基于openHarmony实现本地UDP通信

知识补充 简介 套接字(Socket)&#xff0c;就是对网络中不同主机上的应用进程之间进行双向通信的端点的抽象。一个套接字就是网络上进程通信的一端&#xff0c;提供了应用层进程利用网络协议交换数据的机制。从所处的地位来讲&#xff0c;套接字上联应用进程&#xff0c;下联…
阅读更多...
数据挖掘（5）分类数据挖掘：基于距离的分类方法

数据挖掘（5）分类数据挖掘：基于距离的分类方法

一、分类挖掘的基本流程 最常用的就是客户评估 1.1分类器概念 1.2分类方法 基于距离的分类方法决策树分类方法贝叶斯分类方法 1.3分类的基本流程 步骤 建立分类模型 通过分类算法对训练集训练&#xff0c;得到有指导的学习、有监督的学习预定义的类&#xff1a;类标号属性确定…
阅读更多...
【软考】6.2 网络安全技术

【软考】6.2 网络安全技术

《网络安全技术》 防火墙 一道大门&#xff0c;隔离内网和外网主要分隔外网的威胁&#xff0c;对内网的直接攻击无能为力 入侵检测系统&#xff08;IDS&#xff09; 位于防火墙后的第二道屏障监听设备&#xff1a;监控当前系统 / 用户行为&#xff0c;无需网络流量即可工作尽…
阅读更多...
MySQL中如何进行分库分表的设计和实现？

MySQL中如何进行分库分表的设计和实现？

分库分表是一种常用的数据库扩展方式&#xff0c;可以提高数据库的并发处理能力和扩展性&#xff0c;下面是分库分表的设计和实现的一般步骤&#xff1a; 数据库选择&#xff1a;选择合适的数据库管理系统&#xff08;DBMS&#xff09;&#xff0c;如MySQL&#xff0c;支持分库…
阅读更多...
6.7 案例分析与实现

6.7 案例分析与实现

思维导图&#xff1a; 6.7 案例分析与实现 #### 案例6.2: 六度空间理论 【案例分析】 - **背景介绍**&#xff1a; 六度空间理论提及在任意两人之间最多仅有6个人的连接。尽管这一理论被广泛提及并得到了某种程度的验证&#xff0c;但从科学角度看&#xff0c;它仍然只是一…
阅读更多...
214. Devu和鲜花

214. Devu和鲜花

214. Devu和鲜花 - AcWing题库 如果每个盒子里的花的数量是无限的&#xff0c;用隔板法可以得出答案是 现在每个盒子中区的花数要满足n个条件 我们可以求答案的补集&#xff0c;用全部方案数减去补集方案数 每一个不符合条件的要求为&#xff0c;设为Bi 补集方案数为就成了…
阅读更多...
24、Flink 的table api与sql之Catalogs（java api操作视图）-3

24、Flink 的table api与sql之Catalogs（java api操作视图）-3

Flink 系列文章 1、Flink 部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接 13、Flink 的table api与sql的基本概念、通用api介绍及入门示例 14、Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性 15、Flink 的ta…
阅读更多...
7.MidBook项目经验之阿里OSS,微信支付(退款),定时任务,图表数据处理

7.MidBook项目经验之阿里OSS,微信支付(退款),定时任务,图表数据处理

1.阿里云实名认证 阿里云对象存储oss,标准高频率访问, 低频访问存储,归档存储(根本不经常访问) 冗余存储(备份) 读写权限(所有人还是自己访问) Component public class ConstantOssPropertiesUtils implements InitializingBean {不用注入,由spring创建bean使用流 MultipartFil…
阅读更多...
Flask自定义装饰和g的使用

Flask自定义装饰和g的使用

1. 在commons.py文件中新增一个装饰器类: 注&#xff1a;一定要加入wraps进行装饰否则&#xff0c;装饰器在给多个函数进行装饰时会报错 from functools import wraps from flask import session, current_app, g# 定义登陆装饰器&#xff0c;封装用户的登陆数据 def user_log…
阅读更多...
软考-认证技术原理与应用

软考-认证技术原理与应用

本文为作者学习文章&#xff0c;按作者习惯写成&#xff0c;如有错误或需要追加内容请留言&#xff08;不喜勿喷&#xff09; 本文为追加文章&#xff0c;后期慢慢追加 by 2023年10月 网络安全认证技术是指通过密码、数字证书、生物特征识别等手段&#xff0c;对使用网络的用…
阅读更多...
【Mac】时间机器频繁提示磁盘没有正常推出

【Mac】时间机器频繁提示磁盘没有正常推出

问题描述 有一次在进行时间机器备份的时候总是提示“磁盘没有正常推出”&#xff0c;并且好几次直接导致系统重启… 估计是 MacOS 系统 bug 解决 看了 Vex 一个帖子之后设置了一个硬盘是否休眠就好了&#xff0c;不要勾选让硬盘处于休眠就可以了&#xff0c;在电池选项界面中…
阅读更多...
MySQL 8.0 OCP认证精讲视频、环境和题库之五 事务、缓存

MySQL 8.0 OCP认证精讲视频、环境和题库之五 事务、缓存

redo log buffer&#xff1a; 缓存与事务有关的redo log ,用来对mysql进行crash恢复&#xff0c;不可禁用&#xff1b; 日志缓冲区是存储要写入磁盘上日志文件的数据的内存区域。日志缓冲区大小由innodb_Log_buffer_size变量定义。 默认大小为16MB。日志缓冲区的内容会定…
阅读更多...
最新文章

Copyright @ 2022~2023