【文件锁】多进程线程安全访问文件demo

组合文件锁+共享锁，并RAII 化，保证文件的跨进程线程读写安全。
demo模拟使用多个进程，每个进程包含多个线程对文件进行读写测试。
代码调用开源json库，需要下载到调试机器，编译时手动指定：

g++ -std=c++17 -pthread dbug.cpp  -I/root/json/include 

#include <cstddef>
#include <cstdlib>
#include <unistd.h>
#include <fstream>
#include <sys/stat.h>
#include <filesystem>
#include <iomanip>#include <sys/wait.h>
#include <iostream>
#include <thread>
#include <vector>
#include <chrono>
#include <unordered_map>
#include <memory>
#include <string>
#include <fcntl.h>
#include <sys/file.h> // 包含文件锁相关的头文件
#include <sys/types.h>
#include <sys/wait.h>
#include <mutex>  // 包含mutex头文件
#include <shared_mutex>
#include <nlohmann/json.hpp>  // 引入 JSON 库
#include <stdexcept> // 包含标准异常类// #include <memory>
/* 写json文件 */
using json = nlohmann::json;
namespace fs = std::filesystem;
void writeToJsonFile(const std::string &filename, const json &data, int maxRetries = 3,int retryDelayMilliseconds = 100);
/* 读json文件 */
json readJsonFromFile(const std::string &filename, int maxRetries = 3,int retryDelayMs = 100);class FileLock {
//创建双重锁,文件锁实现进程同步，共享锁实现线程同步,设置为配套获取与释放
private:std::string fileName;int fileDesc;mutable std::shared_mutex rwLock; // 实现线程同步
public:FileLock(const std::string& file) : fileName(file) {// 打开文件（如果文件不存在则创建）fileDesc = open(fileName.c_str(), O_CREAT | O_RDWR, 0666);if (fileDesc == -1) {throw std::runtime_error("Failed to open file for locking: " + fileName);}}~FileLock() {if (fileDesc != -1) {close(fileDesc);  // 关闭文件描述符}}// 禁止复制构造函数和赋值运算符FileLock(const FileLock&) = delete;FileLock& operator=(const FileLock&) = delete;// 锁定文件进行读取void lockRead() {rwLock.lock_shared(); // 获取共享锁（读锁）if (flock(fileDesc, LOCK_SH) == -1) { // 获取共享锁（读锁）// rwLock.unlock_shared(); // 释放共享锁throw std::runtime_error("Failed to lock file for reading: " + fileName);}}// 释放文件读取锁void unlockRead() {if (flock(fileDesc, LOCK_UN) == -1) { // 释放锁throw std::runtime_error("Failed to unlock file after reading: " + fileName);}rwLock.unlock_shared(); // 释放共享锁}// 锁定文件进行写入void lockWrite() {rwLock.lock(); // 获取独占锁（写锁）if (flock(fileDesc, LOCK_EX) == -1) { // 获取独占锁（写锁）// rwLock.unlock(); // 释放独占锁throw std::runtime_error("Failed to lock file for writing: " + fileName);}}// 释放文件写入锁void unlockWrite() {if (flock(fileDesc, LOCK_UN) == -1) { // 释放锁throw std::runtime_error("Failed to unlock file after writing: " + fileName);}rwLock.unlock(); // 释放独占锁}
};class FileManager {
private:// std::unordered_map<std::string, std::shared_ptr<FileLock>> fileLocks;std::unordered_map<std::string, FileLock> fileLocks;std::mutex managerMtx; // 用于保护 fileLocks 的互斥锁// 私有构造函数，禁止外部创建实例FileManager() = default;// 删除拷贝构造函数和赋值运算符FileManager(const FileManager&) = delete;FileManager& operator=(const FileManager&) = delete;public:// 获取单例实例static FileManager& getInstance() {static FileManager instance; // 线程安全的局部静态变量（C++11 及以上）return instance;}// 获取指定文件的锁FileLock& getFileLock(const std::string& fileName) {// std::shared_ptr<FileLock> getFileLock(const std::string& fileName) {std::lock_guard<std::mutex> guard(managerMtx);// // std::cout << "getFileLock:" << fileName << std::endl;// if (fileLocks.find(fileName) == fileLocks.end()) {//     // 如果该文件锁不存在，创建一个新的锁对象//     fileLocks[fileName] = FileLock(fileName); // 永久保存FileLock,减少调用//     // fileLocks[fileName] = std::make_shared<FileLock>(fileName);//动态释放FileLock// }// return fileLocks[fileName];auto it = fileLocks.find(fileName);if (it == fileLocks.end()) {// 如果该文件锁不存在，创建一个新的锁对象并插入到 map 中it = fileLocks.emplace(fileName, fileName).first;}return it->second;}// 移除指定文件的锁（可选）void removeFileLock(const std::string& fileName) {std::lock_guard<std::mutex> guard(managerMtx);fileLocks.erase(fileName);}
};
//创建单例锁管理，永久存储文件锁
FileManager& manager = FileManager::getInstance();//将双重锁 RAII 化, 用于自动管理 FileLock 的写锁
class WriteLockGuard {
public:WriteLockGuard(FileLock& fileLock) : fileLock(fileLock) {fileLock.lockWrite(); // 加锁}~WriteLockGuard() {fileLock.unlockWrite(); // 自动解锁}private:FileLock& fileLock;
};//将双重锁 RAII 化, 用于自动管理 FileLock 的读锁
class ReadLockGuard {
public:ReadLockGuard(FileLock& fileLock) : fileLock(fileLock) {fileLock.lockRead(); // 加锁}~ReadLockGuard() {fileLock.unlockRead(); // 自动解锁}private:FileLock& fileLock;
};/******************************************************************************** 名称: checkJsonFile* 描述: 创建json文件* 作者: mkx* 参数: void* 返回: void******************************************************************************/
void checkJsonFile(const std::string &fileName) {try{// 检查文件是否存在if (fs::exists(fileName)) {return;}// 获取文件所在目录fs::path filePath(fileName);fs::path directory = filePath.parent_path();// std::cout << "filePath:" << filePath << std::endl;// std::cout << "directory:" << directory << std::endl;// 如果目录不存在，则创建目录if (!directory.empty() && !fs::exists(directory)) {// std::cout << "创建目录: " << directory << std::endl;// debug_log(DLOG_INFO, "Directory created: %s", directory.string().c_str());if (!fs::create_directories(directory)) {std::cerr << "无法创建目录: " << directory << std::endl;// debug_log(DLOG_ERROR, "Directory created fail: %s", directory.string().c_str());return;}}FileLock& fileLock = manager.getFileLock(fileName);//以文件名为KEY获取对应锁//WriteLockGuard加锁时会自动创建文件WriteLockGuard lock(fileLock); // 创建 WriteLockGuard 对象，自动加锁if (fs::exists(fileName)) {// debug_log(DLOG_INFO, "File created: %s", filePath.string().c_str());std::cout << "文件创建成功: " << std::endl;return;}}catch (const std::filesystem::filesystem_error &e){const std::string &errorMessage = e.what();// debug_log(DLOG_ERROR, "Error: %s", errorMessage.c_str());}catch (const std::exception &e){const std::string &errorMessage = e.what();// debug_log(DLOG_ERROR, "Error: %s", errorMessage.c_str());}
}/******************************************************************************** 名称: writeToJsonFile* 描述: 写json文件* 作者: mkx* 参数: void* 返回: void******************************************************************************/
void writeToJsonFile(const std::string &filename, const json &data, int maxRetries,int retryDelayMilliseconds)
{checkJsonFile(filename);// 内有双重锁！FileLock& fileLock = manager.getFileLock(filename);//以文件名为KEY获取对应锁for (int retryCount = 0; retryCount < maxRetries; ++retryCount){try{WriteLockGuard lock(fileLock); // 创建 WriteLockGuard 对象，自动加锁std::this_thread::sleep_for(std::chrono::seconds(1));std::ofstream outputFile(filename); //覆盖写入if (outputFile.is_open()) {// 将 JSON 数据写入文件，格式化输出（缩进为4个空格）std::cerr  << data.dump(4) << std::endl;outputFile << data.dump(4) << std::endl; // 换行outputFile.close(); return;}else{throw std::ios_base::failure("Failed to open file for writing.");}}//释放WriteLockGuardcatch (const std::filesystem::filesystem_error &e){const std::string &errorMessage = e.what();// debug_log(DLOG_INFO, "File operation failed: %s", errorMessage.c_str());}catch (const std::ios_base::failure &e){const std::string &errorMessage = e.what();// debug_log(DLOG_INFO, "File operation failed: %s", errorMessage.c_str());}catch (const std::exception &e){const std::string &errorMessage = e.what();// debug_log(DLOG_INFO, "Error: %s", errorMessage.c_str());}// Introduce a delay before retryingstd::this_thread::sleep_for(std::chrono::milliseconds(retryDelayMilliseconds));}// debug_log(DLOG_ERROR, "writeToJsonFile failed, Retry 5 times!!!");
}/******************************************************************************** 名称: readJsonFromFile* 描述: 读取json文件* 作者: mkx* 参数: void* 返回: void******************************************************************************/
json readJsonFromFile(const std::string &filename, int maxRetries, int retryDelayMs)
{checkJsonFile(filename);FileLock& fileLock = manager.getFileLock(filename);//以文件名为KEY获取对应锁for (int attempt = 0; attempt < maxRetries; attempt++){try{ReadLockGuard lock(fileLock); // 创建 ReadLockGuard 对象，自动加锁// std::this_thread::sleep_for(std::chrono::seconds(1));// 打开文件并直接定位到末尾std::ifstream inputFile(filename, std::ios::ate | std::ios::binary); if (inputFile.is_open()){// 检查文件是否为空(避免创建空文件时要写入空json)if (inputFile.tellg() == 0) // 获取文件大小{std::cout << "R" <<  json().dump(4) << std::endl; // 使用 dump(4) 格式化输出，缩进为 4 个空格return json(); // 返回一个空的 JSON 对象}inputFile.seekg(0, std::ios::beg); // 重置文件指针到文件开头json loadedData;inputFile >> loadedData;inputFile.close();loadedData["WR"] = "R";std::cout  << loadedData.dump(4) << std::endl; // 使用 dump(4) 格式化输出，缩进为 4 个空格return loadedData;}else{// debug_log(DLOG_INFO, "File %s not found. ", filename.c_str());std::cout << "else Loaded JSON " << std::endl;}}//释放ReadLockGuardcatch (const std::ios_base::failure &e){const std::string &errorMessage = e.what();// debug_log(DLOG_INFO, "File operation failed: %s", errorMessage.c_str());std::cout << "aaaaaaLoaded JSON " << std::endl;}catch (const std::exception &e){const std::string &errorMessage = e.what();// debug_log(DLOG_INFO, "Error: %s", errorMessage.c_str());std::cout << errorMessage.c_str() << std::endl;}// 重试之前等待一段时间std::this_thread::sleep_for(std::chrono::milliseconds(retryDelayMs));}// debug_log(DLOG_ERROR, "readJsonFromFile failed, Retry 5 times!!!");// 重试次数超过最大限制，返回空的 JSON 对象表示读取失败return json();
}// 使用fork创建进程并执行任务
void createProcess1(const std::string& proID,const std::string& fileName) {pid_t pid = fork();if (pid == 0) {json data = {{"name", fileName},{"age", proID},{"WR", "W"}}; // 在子进程中创建线程进行读写操作std::thread reader1(readJsonFromFile,fileName,1,100);std::thread reader2(readJsonFromFile,fileName,2,100);std::thread writer1(writeToJsonFile,fileName,data,3,100);std::thread writer2(writeToJsonFile,fileName,data,4,100);reader1.join();reader2.join();writer1.join();writer2.join();exit(0); // 退出子进程} else if (pid > 0) {// 父进程wait(NULL); // 等待子进程结束} else {std::cerr << "Fork failed!" << std::endl;}
}int main() {std::string fileName1 = "1.txt";std::string fileName2 = "2.txt";std::string fileName3 = "3.txt";std::string fileName4 = "4.txt";std::string fileName5 = "5.txt";std::string fileName6 = "6.txt";std::string fileName7 = "7.txt";std::string fileName8 = "8.txt";std::string fileName9 = "9.txt";std::string fileName0 = "0.txt";std::string fileNamea = "a.txt";std::string fileNameb = "b.txt";std::string fileNamec = "c.txt";std::string fileNamed = "d.txt";std::string fileNamee = "e.txt";std::string fileNamef = "f.txt";std::string fileNameg = "g.txt";// 创建多个进程进行并行执行std::vector<std::thread> threads;threads.emplace_back(createProcess1,"P1", fileName1);threads.emplace_back(createProcess1,"P2", fileName1);threads.emplace_back(createProcess1,"P3", fileName1);threads.emplace_back(createProcess1,"P4", fileName1);// 等待所有线程完成for (auto& t : threads) {t.join();}return 0;
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/892646.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

SVG图表

SVG图表

1、时序图 英文 #mermaid-svg-OyLuBTPnpbW9XDOB {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-OyLuBTPnpbW9XDOB .error-icon{fill:#552222;}#mermaid-svg-OyLuBTPnpbW9XDOB .error-text{fill:#552222;stroke:#55…
阅读更多...
python 轮廓 获取环形区域

python 轮廓 获取环形区域

目录 效果图&#xff1a; 代码&#xff1a; 效果图&#xff1a; 代码&#xff1a; import cv2 import numpy as np# 读取图像 image cv2.imread(rE:\project\jijia\tools_jijia\img_tools\ground_mask.jpg, cv2.IMREAD_GRAYSCALE) # 二值化图像 # 二值化图像 _, binary cv…
阅读更多...
Clickhouse基础（一）

Clickhouse基础（一）

数据存储的目录&#xff0c;在存储数据时是先经过压缩后再存储的&#xff0c;压缩效率很高 操作命令&#xff1a; sudo clickhouse start sudo clickhouse restart sudo clickhouse status进入clickhouse clickhouse-client -mCREATE TABLE db_13.t_assist (modelId UInt64,…
阅读更多...
基于spingbott+html+Thymeleaf的24小时智能服务器监控平台设计与实现

基于spingbott+html+Thymeleaf的24小时智能服务器监控平台设计与实现

博主介绍&#xff1a;硕士研究生&#xff0c;专注于信息化技术领域开发与管理&#xff0c;会使用java、标准c/c等开发语言&#xff0c;以及毕业项目实战✌ 从事基于java BS架构、CS架构、c/c 编程工作近16年&#xff0c;拥有近12年的管理工作经验&#xff0c;拥有较丰富的技术架…
阅读更多...
从 SQL 语句到数据库操作

从 SQL 语句到数据库操作

1. SQL 语句分类 数据定义语言 DDL &#xff1a; 用于定义或修改数据库中的结构&#xff0c;如&#xff1a;创建、修改、删除数据库对象。create、drop alter 数据操作语言 DML &#xff1a; 用于添加、删除、更新数据库中的数据。select、insert alter、drop 数据控制语言 D…
阅读更多...
NLP三大特征抽取器：CNN、RNN与Transformer全面解析

NLP三大特征抽取器：CNN、RNN与Transformer全面解析

引言 自然语言处理&#xff08;NLP&#xff09;领域的快速发展离不开深度学习技术的推动。随着应用需求的不断增加&#xff0c;如何高效地从文本中抽取特征成为NLP研究中的核心问题。深度学习中三大主要特征抽取器——卷积神经网络&#xff08;Convolutional Neural Network, …
阅读更多...
Excel中SUM求和为0？难道是Excel有Bug！

Excel中SUM求和为0？难道是Excel有Bug！

大家好&#xff0c;我是小鱼。 在日常工作中有时会遇到这样的情况&#xff0c;对Excel表格数据进行求和时&#xff0c;结果竟然是0&#xff0c;很多小伙伴甚至都怀疑是不是Excel有Bug&#xff01;其实&#xff0c;在WPS的Excel表格中数据求和&#xff0c;结果为0无法正确求和的…
阅读更多...
【简博士统计学习方法】第2章：3. 感知机——学习算法之对偶形式：算法解说

【简博士统计学习方法】第2章：3. 感知机——学习算法之对偶形式：算法解说

3. 感知机——学习算法之对偶形式&#xff1a;算法解说 3.4 对偶形式 在原始形式中&#xff0c;若 ( x i , y i ) (x_i,y_i) (xi​,yi​)为误分类点&#xff0c;可如下更新参数&#xff1a; w ← w η y i x i ; b ← b η y i w \leftarrow w\eta y_{i} x_{i} ; \quad b …
阅读更多...
从C到C++——探索C++的基本组成与核心语法

从C到C++——探索C++的基本组成与核心语法

前言 如果你已经掌握了C语言的基本语法&#xff0c;恭喜你&#xff0c;学习C会变得更加得心应手。C 是 C 的超集&#xff0c;不仅继承了 C 的灵活与高效&#xff0c;还引入了强大的面向对象编程思想和现代化语法特性。本篇文章将带你从 C 的基础出发&#xff0c;探索 C 的基本…
阅读更多...
YARN 集群

YARN 集群

一、集群角色 1.1 概述 Apache Hadoop YARN是一个标准的Master/Slave集群&#xff08;主从架构&#xff09;。其中ResourceManager&#xff08;RM&#xff09; 为Master&#xff0c; NodeManager&#xff08;NM&#xff09; 为 Slave。常见的是一主多从集群&#xff0c;也可以…
阅读更多...
ASP.NET Core - .NET 6 以上版本的入口文件

ASP.NET Core - .NET 6 以上版本的入口文件

ASP.NET Core - .NET 6 以上版本的入口文件 自从.NET 6 开始&#xff0c;微软对应用的入口文件进行了调整&#xff0c;移除了 Main 方法和 Startup 文件&#xff0c;使用顶级语句的写法&#xff0c;将应用初始化的相关配置和操作全部集中在 Program.cs 文件中&#xff0c;如下&…
阅读更多...
C语言导航 7.2函数的调用

C语言导航 7.2函数的调用

第二节 函数的调用 调用基本概念 函数的实参与形参 函数的嵌套与递归 7.2.1调用基本概念 1.说明&#xff1a;函数的调用即是在指定位置&#xff0c;让函数执行相应任务。 2.方式&#xff1a;对于有返回值的函数&#xff0c;可在调用时对函数进行运算操作&#xff0c;对于…
阅读更多...
云平台一键部署【Video-Background-Removal】视频换背景，无任何限制，随意换

云平台一键部署【Video-Background-Removal】视频换背景，无任何限制，随意换

Video-Background-Removal 是一款革命性的视频背景替换工具&#xff0c;旨在让用户轻松实现视频背景的快速更换。无论你是专业创作者还是普通用户&#xff0c;这款软件都能让你在几秒钟内改变背景&#xff0c;完全消除限制&#xff0c;随心所欲&#xff0c;随时随地想换就换&am…
阅读更多...
独立开发者工具集：AppSumo网站科普

独立开发者工具集：AppSumo网站科普

独立开发者经常会访问 AppSumo&#xff0c;原因在于以下几点&#xff1a; 推广自己的产品&#xff1a; AppSumo 对独立开发者来说是一个很好的分发平台&#xff0c;能够帮助他们快速触达大量潜在用户。通过在 AppSumo 上发布限时优惠&#xff0c;开发者可以获得更多的曝光、用…
阅读更多...
Apache Hop从入门到精通 第三课 Apache Hop下载安装

Apache Hop从入门到精通 第三课 Apache Hop下载安装

1、下载 官方下载地址&#xff1a;https://hop.apache.org/download/&#xff0c;本教程是基于apache-hop-client-2.11.0.zip进行解压&#xff0c;需要jdk17&#xff0c;小伙伴们可以根据自己的需求下载相应的版本。如下图所示 2、下载jdk17&#xff08;https://www.microsoft…
阅读更多...
C++实现设计模式---单例模式 (Singleton)

C++实现设计模式---单例模式 (Singleton)

单例模式 (Singleton) 概念 单例模式 确保一个类在整个程序生命周期中只有一个实例&#xff0c;并提供一个全局访问点。 它是一种创建型设计模式&#xff0c;广泛用于需要共享资源的场景。 使用场景 配置管理器&#xff1a;程序中需要一个全局的配置对象。日志系统&#xff…
阅读更多...
六十九：基于openssl实战验证RSA

六十九：基于openssl实战验证RSA

RSA&#xff08;Rivest-Shamir-Adleman&#xff09;是一种非对称加密算法&#xff0c;广泛应用于数据加密和数字签名领域。在实际开发和学习过程中&#xff0c;理解 RSA 的工作原理和使用场景非常重要。本文将以 OpenSSL 工具为基础&#xff0c;通过实例操作来验证和理解 RSA 的…
阅读更多...
处理处理器的重排问题

处理处理器的重排问题

每次写代码都要考虑重排问题会很繁琐且容易出错&#xff0c;但也不必过于担心&#xff0c;以下是一些建议可以帮助你应对&#xff1a; 理解重排的影响范围 并非所有代码都会受到重排的显著影响。一般来说&#xff0c;在单线程程序中&#xff0c;只要不涉及依赖特定顺序的外部…
阅读更多...
服务器引导异常,Grub报错: error: ../../grub-core/fs/fshelp.c:258:file xxxx.img not found.

服务器引导异常,Grub报错: error: ../../grub-core/fs/fshelp.c:258:file xxxx.img not found.

服务器引导异常,Grub报错: error: ../../grub-core/fs/fshelp.c:258:file xxxx.img not found. 1. 故障现象2. 解决思路3. 故障分析4. 案件回溯5. 解决问题 1. 故障现象 有一台服务器业务报无法连接. 尝试用Ping命令发现无法ping通. 通过控制台查看发现有以下报错: error: ..…
阅读更多...
PL/SQL语言的数据库交互

PL/SQL语言的数据库交互

PL/SQL语言的数据库交互 引言 在当今的信息化时代&#xff0c;数据库管理系统&#xff08;DBMS&#xff09;在各行各业中扮演着至关重要的角色。为了高效地与数据库进行交互&#xff0c;许多程序员、数据库管理员和系统分析师选择使用PL/SQL&#xff08;Procedural Language/…
阅读更多...
最新文章

Copyright @ 2022~2023