FastDFS之快速入门、上手

知识概念

分布式文件系统

通过计算机网络将各个物理存储资源连接起来。通过分布式文件系统，将网络上任意资源以逻辑上的树形结构展现，让用户访问网络上的共享文件更见简便。

文件存储的变迁：

  • 直连存储：直接连接与存储，扩展性、灵活性差。如Tomcat、nginx。
  • 中心化存储：网络互联。
  • 分布式存储：资源存储在多个服务器，这个存储资源构成一个虚拟的存储设备。

常见的DFS

  • FastDFS ：开源的轻量级分布式文件系统；
  • HDFS ： Hadoop 子项目， Hadoop 的存储系统。
  • Taobao FileSystem ：高扩展、高可用、高性能、面向互联网服务的分布式文件系统，针对海量非结构化数据，构建在普通linux机器集群上，提供高可靠、高并发的存储访问。
    • 为淘宝提供海量小文件存储，通常不超1M。
    • 采用HA架构和平滑扩容。

HA架构：通过设计，减少系统不可用的时间。通过 冗余（集群） + 自动故障转移来实现。

  • GridFS：mongodb内置功能。文件分成两份：索引和文件内容。它们存储在集合中，文件内容等分成若干块存储在文档中。一般以4M作为分块存储单位。
  • Google File System ：非开源。
  • MogileFS ： 由Six Apart开发，广泛应用在 包括LiveJournal等web2.0站点上 。
文件系统FastDFSHDFSTFSMogileFS
数据存储 方式文件/块文件文件文件
集群通讯 协议私有协议私有协议私有协议Http
扩容支持支持支持支持
冗余备份支持支持支持不 支持
单点故障不存在存在存在存在
跨集群同 步部分支持不支持支持不支持
开发语言CJavaC++Perl
适合类型4KB - 500MB大文件所有文件海量小图片
复杂度简单简单复杂复杂
易用性安装简单，社区 活跃安装简单，文档 专业安装复杂，文档 较少安装复杂，文档 较少
研发团队国内开发者-余庆ApacheAlibabaDanga Interactive
FUSE不支持支持不支持支持
POSIX不支持支持无资料不支持

常见DFS提供商

  • 阿里OSS
  • 七牛云存储
  • 百度云存储

FastDFS简介

FastDFS是用C语言编写的一款开源的分布式文件系统，它是由淘宝资深架构师余庆编写并开源。 FastDFS专为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高 性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

功能概况

文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡 的问题。特别适合以中小文件（ 建议范围： 4KB 到 500MB ） 为载体的在线服务，如：相册网站、视 频网站等等

架构

FastDFS架构包括 Tracker Server和Storage Server 。 Tracker Server负责处理客户端的文件上传、下载请求，通过调度，追踪定位 Storage Server 目标，最后由其完成文件下载、上传。
image.png

Tracker Server

作用是负载均衡和调度。在FastDFS集群中，可以有多台Tracker Server 同时提供服务，不存在单点故障。

Storage Server

处理文件存储，使用操作系统的文件系统管理文件。
采用分组存储方式，集群由多个一个或多个分组组成，集群容量是集群内所有组的总和，不同组之间不会互相通信，同组内相互连接同步文件（所以组的容量由组内最小容量的节点决定）。
使用分组的方式，比较灵活易扩展。客户端可以直接指定上传的组，也可以由Tracker进行调度；当访问压力大的时候，也可以通过增加组内存储服务器来提高服务能力；当容量不足时，可以增加分组，提高容量。

Storage 状态收集

Storage会连接所有Tracker，然后汇报自己的状态。，包括磁盘空间、文件同步情况、文件上传下载次数等统计信息。

文件上传流程

image.png
客户端拿到file_id之后，存储起来，后续通过file_id拿到文件。
file_id相当于一个索引，其文件索引信息包括：组名，虚拟磁盘路径，数据两级目录，文件名。

例如：group1/M00/00/00/wKjIgGNslmOAf5VSAACQjdb7ANw5904822

  • 组名：文件上传后所在的分组；
  • 虚拟磁盘路径：通过store_path指定的 Storage 虚拟路径。 store_path0（相当于一个组内节点） 是M00 ，了store_path1则是M01，以此类推。
  • 数据两级目录 ： 在 虚拟磁盘路径下创建的两级目录，用于存储数据文件。
  • 文件名：由存储服务器根据特定信息（源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息）生成。

文件下载流程

image.png

  • 通过组名， tracker 能快速锁定所在分组，然后 tracker 会选择一个合适的存储节点，并把节点信息返回给客户端。
  • 客户端访问存储服务器的时候，存储服务器可以通过文件虚拟路径、数据两级目录来快速定位文件，并根据文件名找到访问的文件。

准备环境

开几个ubuntu18虚拟机：

节点IP域名端口开放
tracker1192.168.204.167tracker122122
tracker2192.168.204.168tracker222122
storage1192.168.204.169storage123000、8888
storage2192.168.204.170storage123000、8888

修改一下自己电脑的host文件：

192.168.204.167 tracker1
192.168.204.168 tracker2
192.168.204.169 storage1
192.168.204.170 storage2

下载镜像：
docker pull morunchang/fastdfs

https://hub.docker.com/r/morunchang/fastdfs

tracker

在tracker1、tracker2服务器运行下面命令（运行前检查tracker_data目录是否创建了）。
默认端口：22122。

docker run -d --name tracker -p 22122:22122 -v ~/tracker_data:/data/fast_data  --net=host morunchang/fastdfs sh tracker.sh

–net：支持 bridge/host/none/container 四种类型

storage

在storage1、storage2服务器运行下面命令（运行前检查storage_data、store_path目录是否创建了）。


docker run -d --name storage \
-v ~/storage_data:/data/fast_data \
-v ~/conf/nginx.conf:/etc/nginx/conf/nginx.conf \
--net=host -e GROUP_NAME=group1 \
-e TRACKER_IP=tracker1:22122,tracker2:22122 \
morunchang/fastdfs sh storage.sh
#user  nobody;
worker_processes  1;#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;#pid        logs/nginx.pid;events {worker_connections  1024;
}http {include       mime.types;default_type  application/octet-stream;#log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '#                  '$status $body_bytes_sent "$http_referer" '#                  '"$http_user_agent" "$http_x_forwarded_for"';#access_log  logs/access.log  main;sendfile        on;#tcp_nopush     on;#keepalive_timeout  0;keepalive_timeout  65;#gzip  on;server {listen       8888;server_name  localhost;#charset koi8-r;#access_log  logs/host.access.log  main;location / {root   html;index  index.html index.htm;}location ~ /M00 {root /data/fast_data/data;ngx_fastdfs_module;}#error_page  404              /404.html;# redirect server error pages to the static page /50x.html#error_page   500 502 503 504  /50x.html;location = /50x.html {root   html;}# proxy the PHP scripts to Apache listening on 127.0.0.1:80##location ~ \.php$ {#    proxy_pass   http://127.0.0.1;#}# pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000##location ~ \.php$ {#    root           html;#    fastcgi_pass   127.0.0.1:9000;#    fastcgi_index  index.php;#    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;#    include        fastcgi_params;#}# deny access to .htaccess files, if Apache's document root# concurs with nginx's one##location ~ /\.ht {#    deny  all;#}}# another virtual host using mix of IP-, name-, and port-based configuration##server {#    listen       8000;#    listen       somename:8080;#    server_name  somename  alias  another.alias;#    location / {#        root   html;#        index  index.html index.htm;#    }#}# HTTPS server##server {#    listen       443 ssl;#    server_name  localhost;#    ssl_certificate      cert.pem;#    ssl_certificate_key  cert.key;#    ssl_session_cache    shared:SSL:1m;#    ssl_session_timeout  5m;#    ssl_ciphers  HIGH:!aNULL:!MD5;#    ssl_prefer_server_ciphers  on;#    location / {#        root   html;#        index  index.html index.htm;#    }#}}

整合SpringBoot

去github拉取源码，然后mvn clean install到本地仓库（官方没有发布到maven中心仓库），最后再引入依赖：

        <dependency>		<groupId>org.csource</groupId><artifactId>fastdfs-client-java</artifactId><version>1.30-SNAPSHOT</version></dependency>

image.png

# http连接超时时间
connect_timeout = 2
# tracker与storage网络通信超时时间
network_timeout = 30
charset = UTF-8
http.tracker_http_port = 80
http.anti_steal_token = no
http.secret_key = FastDFS1234567890
# tracker服务器地址，可以重复配置多个
tracker_server = tracker1:22122
tracker_server = tracker2:22122# 连接池配置
connection_pool.enabled = true
connection_pool.max_count_per_entry = 500
connection_pool.max_idle_time = 3600
connection_pool.max_wait_time_in_ms = 1000
package com.example.demofastdfs.test;import org.csource.common.MyException;
import org.csource.common.NameValuePair;
import org.csource.fastdfs.*;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;import java.io.*;
import java.util.Arrays;/*** @className: FastDFSDemo* @description: TODO 类描述* @author: liangshijie* @date: 2023/3/5**/
public class FastDFSDemo {private static final String CONF_NAME = "fdfs_client.conf";private StorageClient storageClient;private TrackerServer trackerServer;@Beforepublic void initStorageClient() throws Exception {ClientGlobal.init(CONF_NAME);System.out.println("network_timeout=" +ClientGlobal.g_network_timeout + "ms");System.out.println("charset=" + ClientGlobal.g_charset);TrackerClient tracker = new TrackerClient();trackerServer = tracker.getTrackerServer();StorageServer storageServer = new StorageServer("storage1", 23000, 0);storageClient = new StorageClient(trackerServer, storageServer);
//        storageClient = new StorageClient(trackerServer, storageServer);}/*** 测试上传文件*/@Testpublic void upload() throws Exception {// http://storage2:23000/group1/M00/00/00/wKjMqWQHVleAFzK7AAAWWKCNj-E2720984.jpgNameValuePair[] metaList = new NameValuePair[1];String local_filename = "dog.png";metaList[0] = new NameValuePair("fileName", local_filename);File file = new File("C:\\Users\\admin\\Desktop\\dog.png");InputStream inputStream = new FileInputStream(file);int length = inputStream.available();byte[] bytes = new byte[length];inputStream.read(bytes);String[] result = storageClient.upload_file(bytes, "jpg", metaList);
//        String[] result = storageClient.upload_file(bytes, null, metaList);System.out.println("result {}" + Arrays.asList(result));}//查询文件@Testpublic void testQueryFile() throws IOException, MyException {
//        group1, M00/00/00/wKjMqWQGk_WAesAEAAAWWKCNj-E4269595FileInfo fileInfo = storageClient.query_file_info("group1", "M00/00/00/wKjMqWQGk_WAesAEAAAWWKCNj-E4269595");System.out.println(fileInfo);}/*** 测试下载*/@Testpublic void download() throws Exception {String[] uploadresult = {"group1","M00/00/00/wKjMqWQGk_WAesAEAAAWWKCNj-E4269595"};byte[] result = storageClient.download_file(uploadresult[0],uploadresult[1]);String local_filename = "dog_two.png";
//文件写入磁盘writeByteToFile(result, local_filename);File file = new File(local_filename);System.out.println("file.isFile = " + file.isFile());}@Afterpublic void closeClient() {System.out.println("close connection");if (storageClient != null) {try {storageClient.close();} catch (Exception e) {e.printStackTrace();} catch (Throwable e) {e.printStackTrace();}}}public void writeByteToFile(byte[] fbyte, String fileName) throwsIOException {BufferedOutputStream bos = null;FileOutputStream fos = null;File file = new File(fileName);try {fos = new FileOutputStream(file);bos = new BufferedOutputStream(fos);bos.write(fbyte);} catch (Exception e) {e.printStackTrace();} finally {if (bos != null) {bos.close();}if (fos != null) {fos.close();}}}}

测试地址

http://storage1:8888/group1/M00/00/00/wKjMqWQHWfqAGM9mAAAWWKCNj-E813.jpg

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/611946.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

websocket介绍并模拟股票数据推流

websocket介绍并模拟股票数据推流

Websockt概念 Websockt是一种网络通信协议&#xff0c;允许客户端和服务器双向通信。最大的特点就是允许服务器主动推送数据给客户端&#xff0c;比如股票数据在客户端实时更新&#xff0c;就能利用websocket。 Websockt和http协议一样&#xff0c;并不是设置在linux内核中&a…
阅读更多...
代码随想录算法训练营Day20 | 40.组合总和||、39.组合总和、131.分割回文串

代码随想录算法训练营Day20 | 40.组合总和||、39.组合总和、131.分割回文串

LeetCode 40 组合总和|| 本题思路&#xff1a;由于解集中不能包含重复的组合&#xff0c;所以要进行去重的操作。 首先要将数组先进行一个排序操作然后在树层进行去重操作&#xff01;&#xff08;不懂的可以去看代码随想录讲解视频&#xff09;利用一个 used 数组来表示&…
阅读更多...
全链路压力测试有哪些主要作用

全链路压力测试有哪些主要作用

全链路压力测试是在软件开发和维护过程中不可或缺的一环&#xff0c;尤其在复杂系统和高并发场景下显得尤为重要。下面将详细介绍全链路压力测试的主要作用。 一、全链路压力测试概述 全链路压力测试是指对软件系统的全部组件(包括前端、后端、数据库、网络、中间件等)在高负载…
阅读更多...
解决 ubuntu 下编译文件的时候与 YAML 相关的的报错

解决 ubuntu 下编译文件的时候与 YAML 相关的的报错

输入&#xff1a; catkin build -DCMAKE_C_COMPILERgcc-8 -DCMAKE_CXX_COMPILERg-8 或 catkin build airsim_tutorial_pkgs -DCMAKE_C_COMPILERgcc-8 -DCMAKE_CXX_COMPILERg-8 报错如下&#xff1a; 可能是缺少 yaml-cpp 文件&#xff0c;然后操作&#xff1a; sudo apt-g…
阅读更多...
书生·浦语大模型实战2

书生·浦语大模型实战2

轻松玩转书生浦语大模型趣味 Demo 大模型及 InternLM 模型简介 什么是大模型 大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练&#xff0c;并且拥有数十亿甚至数千亿个参数。大模型的出现和发展得益…
阅读更多...
单片机原理及应用——C51语言版（第2版，林立、张俊亮编著）课后习题及答案

单片机原理及应用——C51语言版（第2版，林立、张俊亮编著）课后习题及答案

第一章习题 1.1 单项选择题 &#xff08;1&#xff09; 单片机又称为单片微计算机&#xff0c;最初的英文缩写是____。 答案(D) A.MCPB.CPUC.DPJD.SCM &#xff08;2&#xff09; Intel公司的MCS-51系列单片机是______的单片机。 答案(C) A.1位B.4位C.8位D.16位 &#xf…
阅读更多...
66.网游逆向分析与插件开发-角色数据的获取-角色类的数据分析与C++还原

66.网游逆向分析与插件开发-角色数据的获取-角色类的数据分析与C++还原

内容来源于&#xff1a;易道云信息技术研究院VIP课 ReClass.NET工具下载&#xff0c;它下方链接里的 逆向工具.zip 里的reclass目录下&#xff1a;注意它分x64、x32版本&#xff0c;启动是用管理员权限启动否则附加时有些进程附加不上 链接&#xff1a;https://pan.baidu.com/…
阅读更多...
【S32K 进阶之旅】 NXP S32K3 以太网 RMII 接口调试（2）

【S32K 进阶之旅】 NXP S32K3 以太网 RMII 接口调试（2）

前言 前文介绍了 NXP S32K3 以太网 RMII 接口调试的开发环境搭建&#xff0c;下面开始详解软件调试步骤。没看过第一节的小伙伴请移步《【S32K 进阶之旅】 NXP S32K3 以太网 RMII 接口调试&#xff08;1&#xff09;》&#xff0c;话不多说我们直接进入正题。 lwip Stack 介绍 …
阅读更多...
视频号小店发展趋势如何？适合新手吗？

视频号小店发展趋势如何？适合新手吗？

我是电商珠珠 视频号团队在22年7月发展了自己的电商平台-视频号小店。截止到目前为止&#xff0c;也发展了不过一年的时间&#xff0c;所以各项平台政策还不太严谨。 一个新兴平台所做的第一步就是招揽更多的商家来入驻&#xff0c;就会将红利全部倾向商家&#xff0c;而在今…
阅读更多...
Python 编写不同时间格式的函数

Python 编写不同时间格式的函数

该代码是一个时间相关的功能模块&#xff0c;提供了一些获取当前时间的函数。 Report_time() 函数返回当前时间的格式化字符串&#xff0c;例如 "20240110114512"。Y_M_D_h_m_s_time() 函数返回当前时间的年、月、日、时、分、秒的元组格式。Y_M_D_h_m_s() 函数返回…
阅读更多...
【笔记】书生·浦语大模型实战营——第三课（基于 InternLM 和 LangChain 搭建你的知识库）

【笔记】书生·浦语大模型实战营——第三课（基于 InternLM 和 LangChain 搭建你的知识库）

【参考&#xff1a;tutorial/langchain at main InternLM/tutorial】 【参考&#xff1a;(3)基于 InternLM 和 LangChain 搭建你的知识库_哔哩哔哩_bilibili-【OpenMMLab】】 笔记 基础作业 这里需要等好几分钟才行 bug&#xff1a; 碰到pandas相关报错就卸载重装 输出文字…
阅读更多...
PyTorch项目源码学习（2）——Tensor代码结构初步学习

PyTorch项目源码学习（2）——Tensor代码结构初步学习

PyTorch版本&#xff1a;1.10.0 Tensor Tensor是Pytorch项目较为重要的一部分&#xff0c;其中的主要功能如存储&#xff0c;运算由C和CUDA实现&#xff0c;本文主要从前端开始探索学习Tensor的代码结构。 结构探索 PyTorch前端位于torch目录下&#xff0c;从_tensor.py可以…
阅读更多...
Python基础语法（上）——基本语法、顺序语句、判断语句、循环语句（有C++基础快速掌握Python语言）

Python基础语法（上）——基本语法、顺序语句、判断语句、循环语句（有C++基础快速掌握Python语言）

文章目录 0.python小技巧与易错点1.python 与 c 语法有哪些区别2.Python基本语法2.1python的变量类型2.2python中的运算符2.3python中的表达式2.4python中的输入输出 3.python判断语句3.1基本用法&#xff1a;3.2关于else if 的用法3.3关于pass语句3.4python变量的作用域3.5pyt…
阅读更多...
基于深度学习的果蔬检测识别系统（含UI界面、yolov5、Python代码、数据集）

基于深度学习的果蔬检测识别系统（含UI界面、yolov5、Python代码、数据集）

项目介绍 项目中所用到的算法模型和数据集等信息如下&#xff1a; 算法模型&#xff1a;     yolov5 yolov5主要包含以下几种创新&#xff1a;         1. 添加注意力机制&#xff08;SE、CBAM、CA等&#xff09;         2. 修改可变形卷积&#xff08;DySnake-主…
阅读更多...
MySQL之导入以及导出远程备份v

MySQL之导入以及导出远程备份v

目录 一.navact数据导入导出 1.1 导入 1.2 导出 二. mysqldump命令导入导出数据 2.1 导入 2.2 导出 三.load data file进行数据导入导出&#xff08;只限于单表&#xff09; 3.1 导入 3.2 导出 四.远程连接 好啦就到这里了哦!!!希望帮到你哦!!! 一.navact数据导入导…
阅读更多...
CSS响应式布局

CSS响应式布局

目录 rem单位 媒体查询 rem 媒体查询 rem适配方案&#xff08;了解&#xff09; 响应式布局总结 rem单位 1.设置文字大小的单位 px&#xff1a;设置为固定的css像素 em&#xff1a;相对于父元素字体的大小 %&#xff1a;相对于父元素字体的大小 rem&#xff1a;相对于…
阅读更多...
申请企业通配符SSL证书流程

申请企业通配符SSL证书流程

通配符SSL证书&#xff0c;又叫泛域名SSL证书&#xff0c;可以用一张SSL证书同时保护主域名以及主域名下的所有子域名。按照验证方式可以将通配符SSL证书分为DV通配符SSL证书和OV通配符SSL证书。其中OV通配符SSL证书只支持企事业单位申请&#xff0c;又称之为OV企业型通配符SSL…
阅读更多...
初识MySQL：数据库相关概念，SQL语法以及DDL（数据库操作，表操作）

初识MySQL：数据库相关概念，SQL语法以及DDL（数据库操作，表操作）

目录 1.数据库相关概念2.关系型数据库&#xff08;RDBMS&#xff09;3.SQL通用语法4.SQL分类5.DDL-数据库操作6.DDL-表操作1.查询表2.创建表3.数据类型1.数值类型2.字符串类型3.日期类型 4.修改表5.删除表 1.数据库相关概念 2.关系型数据库&#xff08;RDBMS&#xff09; 关系型…
阅读更多...
ConcurrentHashMap的原理分析学习

ConcurrentHashMap的原理分析学习

ConcurrentHashMap 的初步使用及场景 CHM 的使用 ConcurrentHashMap 是 J.U.C 包里面提供的一个线程安全并且高效的 HashMap&#xff0c;所以ConcurrentHashMap 在并发编程的场景中使用的频率比较高&#xff0c;那么这一节课我们就从ConcurrentHashMap 的使用上以及源码层面来…
阅读更多...
MVIT图像分类 学习笔记 （附代码）

MVIT图像分类 学习笔记 （附代码）

论文地址&#xff1a;https://arxiv.org/pdf/2104.11227.pdf 代码地址&#xff1a;https://github.com/facebookresearch/SlowFast 1.是什么&#xff1f; MViT&#xff08;Multiscale Vision Transformers&#xff09;是一种多尺度视觉Transformer模型。它的关键概念是逐步增…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023