云备份项目--服务端编写

文章目录

  • 7. 数据管理模块
    • 7.1 如何设计
    • 7.2 完整的类
  • 8. 热点管理
    • 8.1 如何设计
    • 8.2 完整的类
  • 9. 业务处理模块
    • 9.1 如何设计
    • 9.2 完整的类
    • 9.3 测试
      • 9.3.1 测试展示功能

完整的代码–gitee链接

7. 数据管理模块

TODO: 读写锁？普通锁？

7.1 如何设计

需要管理哪些数据：

  • 文件大小
  • 文件最后一次修改时间
  • 文件最后一次访问时间
  • 文件的实际存放路径
  • 文件是否被压缩
  • 文件压缩包存放路径
  • url的资源路径path（URL路径（如http://www.example.com/path/to/file的路径path就是是/path/to/file）

如何管理数据：

  • 用于数据信息访问：使用哈希表，使用urlPath作为key值
  • 使用json序列化将信息保存在文件中
  • 读写锁，为了提高访问效率

7.2 完整的类

/* 文件管理数据模块, 这里有文件的所有信息
, 用到了JsonUtil.hpp, FileUtil.hpp, Config.hpp */#ifndef __MY_DATA_MANGER__
#define __MY_DATA_MANGER__
#include "Config.hpp"
#include <iostream>
#include <unordered_map>
#include <pthread.h>
#include <string>
#include <vector>
#include <mutex>namespace cloud
{
struct BackupInfo
{   // 传入文件名, 初始化结构体BackupInfo(const std::string& fileName);BackupInfo(); // 当前文件的状态是否ok, ok 返回truebool isOk();bool isPacked;              // 文件是否被压缩（true表示被压缩了）size_t fileSz;              // 文件大小time_t lastMTime;           // 文件最后一次修改时间time_t lastATime;           // 文件最后一次访问时间std::string ulFilePath;     // 上传文件存放的路径(这里要精确到哪个路径下哪个文件，如./files/fileName.txt)std::string rarFilePath;    // 压缩文件存放的路径(这里要精确到哪个路径下哪个文件，如./rars/fileName.lz)std::string urlPath;        // url的资源路径pathbool biStatus = true;       // 当前文件的状态是否ok
private:// 构造函数使用该函数bool init(const std::string& fileName);
};class DataManager
{
private:std::unordered_map<std::string, BackupInfo> _hash;       // 通过key:url来映射BackupInfostd::string _backup;                                     // 备份的信息文件的路径pthread_rwlock_t _rwlock;std::mutex _mtx;
public:DataManager();// 将bi添加到哈希表中bool insertInfo(const BackupInfo& bi);// 根据bi修改哈希表中的值bool updateInfo(const BackupInfo& bi); // 通过urlPath获得一个文件信息, 放到info中bool get1FromURL(const std::string& urlPath, BackupInfo* info);// 通过该文件的路径(本地路径)获得文件信息, 放到info中bool get1FromPath(const std::string& path, BackupInfo* info);// 获取所有文件信息, 放到数组中bool getAllInfo(std::vector<BackupInfo>* vBi);// 保存备份文件, 将所有文件的信息保存下来bool strorageBackup();// 加载配置文件, 将其放到_hash中bool loadBackup();
};
}
#endif

8. 热点管理

8.1 如何设计

需要完成的功能: 对服务器上备份的文件进行检测，哪些文件长时间没有被访问，则认为是非热点文件，则压缩存储，节省磁盘空间。

  1. 遍历所有的文件
  2. 检测文件的最后一次访问时间
  3. 与当前时间进行相减得到差值，这个差值如果大于设定好的非热点判断时间则认为是非热点文件，则进行压缩存放到压缩路径中，删除源文件
  4. 修改数据管理模块对应的文件信息（压缩标志–>true）

8.2 完整的类

/* 
热点管理模块, 
检测压缩文件存放的路径中所有的文件是否长时间未访问, 
并做相应的压缩处理。
*/
#ifndef __MY_HOTSPOT__MANAGER__
#define __MY_HOTSPOT__MANAGER__
#include "DataManager.hpp"
#include "Config.hpp"
#include <time.h>
#include <unistd.h>extern cloud::DataManager* dm;
namespace cloud
{
class HotspotManager
{
private:std::string _ulPath;      // 上传文件存放的路径(这里指的是文件夹)std::string _rarPath;     // 压缩文件存放的路径(这里指的是文件夹)std::time_t _hotTime;     // 热点时间
public:HotspotManager();~HotspotManager();// 提供主要功能: 检测是否是热点+非热点删除并压缩+更改配置文件信息bool runHotspotManager();private:// 检测是否是热点文件, 是返回truebool checkHot(const std::string& path);// 将文件压缩到指定位置bool compressAndMov(const std::string& path, cloud::FileUtil& fu);// 删除文件bool removeFile(cloud::FileUtil& fu);// 更新文件的信息, 并进行持久化操作bool updateAndStorage(const std::string& path);
};} #endif

9. 业务处理模块

9.1 如何设计

  1. 搭建网络通信服务器：借助httplib完成
  2. 业务请求处理
    1. 文件上传请求：备份客户端上传的文件，响应上传成功
    2. 文件列表展示请求：客户端浏览器请求一个备份文件的展示页面，响应页面
    3. 文件下载请求：通过展示页面，点击下载，响应客户端要下载的文件数据

前置知识：

ETag：

HTTP中的ETag（Entity Tag）是一个与特定版本的资源相关的标识符。它是一种机制，用于确定客户端缓存的副本是否是最新的。

客户端第一次下载文件的时候，会收到这个响应信息，第二次下载，就会将这个信息发送给服务器，想要让服务器根据这个唯一标识判断
这个资源有没有被修改过，如果没有被修改过，直接使用原先缓存的数据，不用重新下载了

Accept-Ranges:

Accept-Ranges允许客户端在下载过程中恢复中断的下载，或者只下载资源的一部分，这可以提高下载效率，尤其是在处理大文件时。其值设置为bytes表示服务器支持基于字节的请求

断点续传

第一次请求：

  1. 客户端发起 HTTP GET 请求一个文件。
  2. 服务器处理请求，返回文件内容以及相应的 Header，其中包括 Etag（例如：627-4d648041f6b80）（假设服务器支持 Etag 生成并已开启了 Etag）状态码为 200。

第二次请求（断点续传）：

  1. 客户端发起 HTTP GET 请求一个文件，同时发送 If-Range（该头的内容就是第一次请求时服务器返回的 Etag：627-4d648041f6b80）。
  2. 服务器判断接收到的 Etag 和计算出来的 Etag 是否匹配，如果匹配，那么响应的状态码为 206；否则，状态码为 200。
请求
GET /download/a.txt http/1.1
Content-Length: 123
If-Range: "⽂件唯⼀标识"		服务端在下载时响应的etag字段”用于服务端判断这个文件与原先下载的文件是否一致
Range: bytes=89-999			这个字段用于告诉服务器客户端需要的数据区间范围响应
HTTP/1.1 206 Partial Content
Content-Length:123
Content-Range: bytes 89-999/100000
Content-Type: application/octet-stream
ETag: "inode-size-mtime⼀个能够唯⼀标识⽂件的数据"
Accept-Ranges: bytes

9.2 完整的类

/* 提供业务处理的功能, 处理来自客户端的各种请求 */
#ifndef __MY_SERVICE__
#define __MY_SERVICE__
#include "DataManager.hpp"
#include "httplib.h"extern cloud::DataManager* dm;         // 用于管理数据namespace cloud
{
class Service
{
private:int _srvPort;                    // 服务器端口号std::string _srvIp;              // 服务器ipstd::string _urlDownPre;         // url下载路径前缀
public:Service();~Service();// 进行业务处理void runService();private:// 处理上传文件static void uploadHandler(const httplib::Request& req, httplib::Response& rsp);// 处理下载文件static void downloadHandler(const httplib::Request& req, httplib::Response& rsp);// 处理显示操作static void listHandler(const httplib::Request& req, httplib::Response& rsp);// 将时间戳转换为可读的static std::string timeToStr(time_t t);// 获取ETag, 文件名-文件大小-最后一次修改时间static std::string getETag(const BackupInfo& bi);
};
}
#endif

9.3 测试

9.3.1 测试展示功能

此时的backup.data如下

[{"fileSz" : 0,"isPacked" : false,"lastATime" : 1735651729,"lastMTime" : 1735651729,"rarFilePath" : "./rars/testtest.txt.lz","ulFilePath" : "./files/testtest.txt","urlPath" : "/download/testtest.txt"},{"fileSz" : 3083,"isPacked" : false,"lastATime" : 1735649756,"lastMTime" : 1735131288,"rarFilePath" : "./rars/Config.hpp.lz","ulFilePath" : "./files/Config.hpp","urlPath" : "/download/Config.hpp"}
]

页面显示如下

image-20241231213014354

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/66085.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

什么是打流，怎么用iperf3打流

什么是打流，怎么用iperf3打流

什么是打流 在网络安全和黑灰产领域&#xff0c;“打流”具有不同的含义&#xff0c;常用于形容通过技术手段制造流量假象或发起流量攻击。 流量攻击&#xff08;DDoS&#xff09;中的“打流”&#xff1a; “打流”指向目标服务器或网络发起 大规模的数据请求&#xff0c;造…
阅读更多...
exam0-试卷整理

exam0-试卷整理

exam0-试卷整理 2010&#xff0c;2013是梦开始的地方&#xff0c;大概率会出原题的 2010 2013 2015 大题 manchester RIP更新 说出ISO与TCP/IP模型的相同点和不同点&#xff08;8分&#xff09; 相似&#xff1a; 两者都有层次&#xff0c;网络专业人员都需要知道二者&a…
阅读更多...
数据挖掘入门介绍及代码实战

数据挖掘入门介绍及代码实战

什么是数据挖掘&#xff1f; 数据挖掘&#xff08;Data Mining&#xff09;是从大量数据中通过算法和技术提取有价值知识的过程&#xff0c;常被称为“从数据中发现知识”&#xff08;KDD&#xff0c;Knowledge Discovery in Databases&#xff09;。它包括从数据库中发现隐藏…
阅读更多...
ACL---访问控制列表---策略

ACL---访问控制列表---策略

在路由器流量流入或者流出的接口上匹配流量&#xff0c;之后执行设定好的动作---permit&#xff08;允许&#xff09;deny&#xff08;拒绝&#xff09; 1.访问控制&#xff1a; 在路由器流量流入或者流出的接口上匹配流量&#xff0c;之后执行设定好的动作---permit&#xf…
阅读更多...
element输入框及表单元素自定义前缀

element输入框及表单元素自定义前缀

如图所示&#xff1a; <el-input class"custom-input" placeholder"请输入" prefix-icon"prefix" v-model"form.name" clearable></el-input> :deep(.custom-input) {.el-input__icon {display: inline-block;width: 40…
阅读更多...
C#调用Lua

C#调用Lua

目录 xLua导入 打包工具导入 单例基类导入与AB包管理器导入 Lua解析器 文件加载与重定向 Lua解析器管理器 全局变量获取 全局函数获取 对于无参数无返回值 对于有参数有返回值 对于多返回值 对于变长参数 完整代码 List与Dictionary映射Table 类映射Table 接口映射…
阅读更多...
第13章 汇编语言--- 实践项目：简单的计算器

第13章 汇编语言--- 实践项目：简单的计算器

汇编语言是一种低级编程语言&#xff0c;它几乎是一对一地对应于计算机的机器码指令。编写汇编代码时&#xff0c;程序员需要直接处理硬件资源如寄存器和内存地址。下面我将为你概述如何创建一个简单的计算器程序&#xff0c;并提供一些伪代码作为示例。 项目目标 设计一个简…
阅读更多...
【能用】springboot集成netty，解码器处理数据过长的问题

【能用】springboot集成netty，解码器处理数据过长的问题

netty解码器处理数据过长的问题 处理数据过长的详细流程 当第一次 decode 调用时&#xff0c;如果数据不完整&#xff0c;decode 方法会直接返回&#xff0c;Netty 会保留 ByteBuf 中的数据。后续数据到达时&#xff0c;会再次调用 decode 方法&#xff0c;ByteBuf 会累积新到…
阅读更多...
渗透测试-非寻常漏洞案例

渗透测试-非寻常漏洞案例

声明 本文章所分享内容仅用于网络安全技术讨论&#xff0c;切勿用于违法途径&#xff0c;所有渗透都需获取授权&#xff0c;违者后果自行承担&#xff0c;与本号及作者无关&#xff0c;请谨记守法. 此文章不允许未经授权转发至除先知社区以外的其它平台&#xff01;&#xff0…
阅读更多...
Python下载包缓慢时怎么修改镜像源

Python下载包缓慢时怎么修改镜像源

前言 在使用Python下载第三方包时&#xff0c;有时会比较缓慢&#xff0c;与Linux环境中下载软件一样可以替换软件源一样&#xff0c;Python下载源也可以进行修改&#xff0c;因为总是记不住镜像地址&#xff0c;特此记录一下。 常用镜像 豆瓣镜像&#xff1a; https://pypi.…
阅读更多...
df.groupby(pd.Grouper(level=1)).sum()

df.groupby(pd.Grouper(level=1)).sum()

df.groupby(pd.Grouper(level1)).sum() 在 Python 中的作用是根据 DataFrame 的某一索引级别进行分组&#xff0c;并计算每个分组的总和。具体来说&#xff1a; df.groupby(...)&#xff1a;这是 pandas 的分组操作&#xff0c;按照指定的规则将 DataFrame 分组。 pd.Grouper(…
阅读更多...
CentOS修改docker镜像存储位置并进行数据迁移

CentOS修改docker镜像存储位置并进行数据迁移

在 CentOS 上修改 Docker 镜像存储位置并进行数据迁移是一个常见的需求。以下是一个详细的步骤指南&#xff0c;帮助你完成这个任务。 1. 停止 Docker 服务 首先&#xff0c;确保 Docker 服务已经停止&#xff0c;以避免在迁移过程中出现数据损坏。 sudo systemctl stop doc…
阅读更多...
node.js之---事件循环机制

node.js之---事件循环机制

事件循环机制 Node.js 事件循环机制&#xff08;Event Loop&#xff09;是其核心特性之一&#xff0c;它使得 Node.js 能够高效地处理大量并发的 I/O 操作。Node.js 基于 非阻塞 I/O&#xff0c;使用事件驱动的模型来实现异步编程。事件循环是 Node.js 实现异步编程的基础&…
阅读更多...
基于深度学习的视觉检测小项目（二） 环境和框架搭建

基于深度学习的视觉检测小项目（二） 环境和框架搭建

一、环境和框架要求 SAM的环境要求&#xff1a; Python>3.7 PyTorch>1.7 torchvision>0.8 YOLO V8的环境要求&#xff1a;YOLO集成在ultralytics库中&#xff0c;ultralytics库的环境要求&#xff1a; Python>3.7 PyTorch>1.10.0 1、确定pytorch版本…
阅读更多...
MySQL 06 章——多表查询

MySQL 06 章——多表查询

多表查询&#xff0c;也称为关联查询&#xff0c;是指两个表或多个表一起完成查询操作 前提条件&#xff0c;这些一起查询的表之间是有关系的&#xff08;一对一、一对多&#xff09;&#xff0c;它们之间一定是有关联字段的。这个关联字段可能建立了外键&#xff0c;也可能没…
阅读更多...
ubuntu初始配置

ubuntu初始配置

ubuntu初始配置 vm下ubuntu安装vmtools安装常用工具ubuntu终端美化安装ssh使用apt安装时出现错误解决办法 vm下ubuntu安装vmtools //安装vmtools sudo apt-get install open-vm-tools //桌面组件提供了更好的集成体验&#xff0c;包括拖放文件和共享剪贴板等功能 sudo apt-get…
阅读更多...
Web前端基础知识（五）

Web前端基础知识（五）

盒子模型 盒子模型是CSS中一种常用于布局的基本概念。描述了 文档中的每个元素都可以看成是一个矩形的盒子&#xff0c;包含了内容、内边距、文本边距、外边距。 ---------------------------------------------------------------------------------------------------------…
阅读更多...
人工智能之机器学习算法

人工智能之机器学习算法

所有的机器学习算法都是要优化的&#xff0c;优化的必要条件是确定优化的目标函数(损失函数)&#xff0c;目标函数是根据实际问题(数据)转成的数学公式。 一.线性回归原理推导 &#xff08;1&#xff09;回归问题概述 在机器学习的有监督算法中&#xff0c;分类与回归二种情…
阅读更多...
使用Clion在ubuntu上进行交叉编译，并在Linux上远程编译五子棋

使用Clion在ubuntu上进行交叉编译，并在Linux上远程编译五子棋

目录 1.工具以及概念介绍 &#xff08;1&#xff09;Clion软件简介 &#xff08;2&#xff09;交叉编译 &#xff08;3&#xff09;远程编译 2.操作原理 3.详细操作步骤 &#xff08;1&#xff09;配置Clion与虚拟机ubuntu的ssh连接 CLion远程开发Ubuntu&#xff0c;并显…
阅读更多...
前端访问一个图片URL时，浏览器默认会尝试下载文件而不是直接显示它

前端访问一个图片URL时，浏览器默认会尝试下载文件而不是直接显示它

当你在前端访问一个图片URL时&#xff0c;浏览器默认会尝试下载文件而不是直接显示它&#xff0c;这通常是由于服务器设置了ContentDisposition: attachment头或者文件本身是一个压缩包或其他格式。为了支持在网页上预览图片&#xff0c;可以使用以下方法&#xff1a; 1. 检查服…
阅读更多...
最新文章

Copyright @ 2022~2023