项目开发中经常有一些被嫌弃的小数据，现在全丢给 FastDFS

在我们开发项目的时候，经常会遇到大块数据的问题（2M-100M），比如说保存报表中1w个人的ID号，说实话，这些数据存储在服务器哪里都被嫌弃，放在redis，mongodb中吧，一下子你就会收到报警信息，因为内存满了。。。放在mysql吧？？？你还得建立一个text字段，也没人这么玩，而且还担心受怕别人来一个 select * ，这速度你懂的。。。直接放到硬盘吧，没扩展性，你1T大小的硬盘又能怎样，照样撑爆你，放在hadoop里面吧，对.net程序员来说，没有这个缘分，好不容易微软有一个.net hadoop sdk，说放弃就放弃了，兼具以上各种特性，最后目光只能落到FastDFS上了。

一：FastDFS

fastDFS的本意是一个分布式的文件系统，所以大家可以上传各种小文件，包括这篇聊到的那些一个点一个点的数据，同样你也可以认为是一些小文件，接下来我画一下它的大概架构图：

我来解释一下：

  • fastDFS是按照Group的形式对file进行分组存储的，这里的group1你可以理解成C盘，group2理解成D盘，所有的数据都是在Group来划分的。

  • 为了提高读取性能和热备份，我们把group1放到了两台机器上，大概可能觉得有点浪费，对吧，事实就是这样。

  • 为了提高扩展性，因为单机是有存储上限的，这时候你可以再新建一个group2，也就是D盘，放到另外机器上，这样你就扩容了，对吧。

  • trackerServer主要用来保存group和storage的一些状态信息，主要和client端进行交互，返回正确的storeage server地址，这个和hadoop的namenode其实是同一个角色的。

  • 这里要注意的一个地方就是，client端在存储file的时候，需要告诉trackerserver，你需要存储到哪一个group中，比如group1还是group2？

二：下载安装【CentOS】

为了方便测试，这里我部署到一台CentOS上

1. 安装步骤

1) 下载fastDFS基础包：https://github.com/happyfish100/libfastcommon/releases

2) 然后下载fast源码包：https://github.com/happyfish100/fastdfs/releases

3) wget之后，先把libfastcommon给安装一下


tar -xzvf V1.0.36
cd libfastcommon-1.0.36
./make.sh && ./make.sh install

再把fastdfs安装一下。


tar -xzvf V5.11
cd fastdfs-5.11
./make.sh &&./make.sh install

这样的话，我们的fast就算安装好了，因为是默认安装，所以配置文件是在 /etc/fdfs 目录下，启动服务在/etc/init.d下。


[root@localhost ~]# cd /etc/fdfs
[root@localhost fdfs]# lsclient.conf client.conf.sample storage.conf.sample storage_ids.conf.sample tracker.conf.sample[root@localhost fdfs]# cd /etc/init.d
[root@localhost init.d]# ls
fdfs_storaged  fdfs_trackerd  functions  netconsole  network  README
[root@localhost init.d]#

然后再把两个storage.conf.sample 和 tracker.conf.sample中copy出我们需要配置的文件。


[root@localhost fdfs]# cp storage.conf.sample storage.conf
[root@localhost fdfs]# cp tracker.conf.sample tracker.conf
[root@localhost fdfs]# ls
client.conf  client.conf.sample  storage.conf  storage.conf.sample  storage_ids.conf.sample  tracker.conf  tracker.conf.sample
[root@localhost fdfs]# 

4) tracker.conf 配置

这个配置文件，主要是配置里面的base_path。


# the base path to store data and log files
base_path=/usr/fast/fastdfs-5.11/data/tracker

指定完路径之后，我们创建一个data文件夹和tracker文件夹。

5) storage.conf 配置

这个配置文件，我们主要配置三样东西。

  • 本storage服务器的groupname，大家看过架构图应该也明白了，对吧。

  • 为了提高磁盘读写，可以指定本groupname的file存储在哪些磁盘上。

  • 指定和哪一台trackerserver进行交互。


# the name of the group this storage server belongs to
#
# comment or remove this item for fetching from tracker server,
# in this case, use_storage_id must set to true in tracker.conf,
# and storage_ids.conf must be configed correctly.
group_name=group1# the base path to store data and log files
base_path=/usr/fast/fastdfs-5.11/data/storage# path(disk or mount point) count, default value is 1
store_path_count=1# store_path#, based 0, if store_path0 not exists, it's value is base_path
# the paths must be exist
store_path0=/usr/fast/fastdfs-5.11/data/storage/0
#store_path1=/home/yuqing/fastdfs2# tracker_server can ocur more than once, and tracker_server format is
#  "host:port", host can be hostname or ip address
tracker_server=192.168.23.152:22122

然后在data目录下创建storage和0文件夹

6) 启动 FastDFS，可以看到22122的端口已经启动了，说明搭建成功


[root@localhost ~]# /etc/init.d/fdfs_trackerd start
Starting fdfs_trackerd (via systemctl):                    [  OK  ]
[root@localhost ~]# /etc/init.d/fdfs_storaged start
Starting fdfs_storaged (via systemctl):                    [  OK  ]
[root@localhost 0]# netstat -tlnp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:22122           0.0.0.0:*               LISTEN      4346/fdfs_trackerd  
tcp        0      0 192.168.122.1:53        0.0.0.0:*               LISTEN      1786/dnsmasq        
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1129/sshd           
tcp        0      0 127.0.0.1:631           0.0.0.0:*               LISTEN      1128/cupsd          
tcp        0      0 0.0.0.0:23000           0.0.0.0:*               LISTEN      4171/fdfs_storaged  
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1556/master         
tcp6       0      0 :::22                   :::*                    LISTEN      1129/sshd           
tcp6       0      0 ::1:631                 :::*                    LISTEN      1128/cupsd          
tcp6       0      0 ::1:25                  :::*                    LISTEN      1556/master         
[root@localhost 0]# 

三：使用C#客户端

在github上有一个C#的客户端，大概可以使用一下：https://github.com/smartbooks/FastDFS.Client   或者通过nuget上搜一下：


class Program{static void Main(string[] args){ConnectionManager.InitializeForConfigSection(new FastDfsConfig(){FastDfsServer = new List<FastDfsServer>(){new FastDfsServer(){IpAddress="192.168.2.25",Port=22122}}});var storageNode = FastDFSClient.GetStorageNode("group1");var path = FastDFSClient.UploadFile(storageNode, new byte[10000], ".txt");var rsp = FastDFSClient.DownloadFile(storageNode, path);Debug.WriteLine("上传的文件返回路径:{0}, 下载获取文件大小:{1}", path, rsp.Length);}}

好了，本篇就说这么多，希望对你有帮助。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/307025.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

java 反射 int_Java 反射由浅入深 | 进阶必备

java 反射 int_Java 反射由浅入深 | 进阶必备

原标题&#xff1a;Java 反射由浅入深 | 进阶必备一、Java 反射机制参考了许多博文&#xff0c;总结了以下个人观点&#xff0c;若有不妥还望指正&#xff1a;Java 反射机制在程序运行时&#xff0c;对于任意一个类&#xff0c;都能够知道这个类的所有属性和方法&#xff1b;对…
阅读更多...
寻找性能更优秀的不可变小字典

寻找性能更优秀的不可变小字典

Dictionary 是一个很常用的键值对管理数据结构。但是在性能要求严苛的情况下&#xff0c;字典的查找速度并不高。所以&#xff0c;我们需要更快的方案。需求说明 这里&#xff0c;我们需要一个 PropertyInfo 和委托对应的映射关系&#xff0c;这样我们就可以存储《寻找性能更优…
阅读更多...
一款基于.NET Core的认证授权解决方案-葫芦藤1.0开源啦

一款基于.NET Core的认证授权解决方案-葫芦藤1.0开源啦

背景18年公司准备在技术上进行转型&#xff0c;而公司技术团队是互相独立的&#xff0c;新技术的推动阻力很大。我们需要找到一个切入点。公司的项目很多&#xff0c;而各个系统之间又不互通&#xff0c;导致每套系统都有一套登录体系&#xff0c;给员工和客户都带来极大的不便…
阅读更多...
.NET架构小技巧（8）——优待异常

.NET架构小技巧（8）——优待异常

天有不测风云&#xff0c;人有旦夕祸福&#xff0c;程序呢——会有异常错误。C#中用try&#xff0c;catch&#xff0c;finally来捕捉处理异常&#xff0c;捕捉谁的异常呢&#xff1f;一般都是系统类库或三方类库中抛出的异常&#xff0c;那如果我自己架构程序&#xff0c;异常也…
阅读更多...
跟我一起学.NetCore之EF Core 实战入门，一看就会

跟我一起学.NetCore之EF Core 实战入门，一看就会

前言还记得当初学习数据库操作时&#xff0c;用ADO.NET一步一步地进行数据操作及查询&#xff0c;对于查询到的数据还得对其进行解析&#xff0c;然后封装返回给应用层&#xff1b;遇到这种重复而繁琐的工作&#xff0c;总有一些大神或团队对其进行封装&#xff0c;从而出现了很…
阅读更多...
java 声明变量构成_Java—变量

java 声明变量构成_Java—变量

1.1 按数据类型分类1.1.1 基本数据类型(四类八种)☛ 引用数据类型的特点存的是地址值,可以为null值☛ 基本数据类型的特点存的是具体的值,不可以是null值☛ 整型整型取值范围字节数byte(字节)-128 ~ 1271byteshort(短整型)-2byteint(默认整型)-4bytelong(长整型)12345678L8byte…
阅读更多...
寻找性能更优秀的动态 Getter 和 Setter 方案

寻找性能更优秀的动态 Getter 和 Setter 方案

反射获取 PropertyInfo 可以对对象的属性值进行读取或者写入&#xff0c;但是这样性能不好。所以&#xff0c;我们需要更快的方案。方案说明 就是用表达式编译一个Action<TObj,TValue>作为 Setter&#xff0c;编译一个Func<TObj,TValue>作为 Getter。然后把这些编译…
阅读更多...
Newbe.ObjectVisitor 0.2.10 发布，更花里胡哨

Newbe.ObjectVisitor 0.2.10 发布，更花里胡哨

更新内容 现在&#xff0c;你可以通过上下文修改属性的值了&#xff1a;//✔️ from 0.2 // 可以修改属性 o.V().ForEach((context) > ModifyData(context)).Run();public static void ModifyData(IObjectVisitorContext<Yueluo,string> context) {context.Value con…
阅读更多...
.NET 5 和 C#9 /F#5 一起到来, 向实现 .NET 统一迈出了一大步

.NET 5 和 C#9 /F#5 一起到来, 向实现 .NET 统一迈出了一大步

经过一年多的开发&#xff0c;Microsoft 于北京时间 11 月 11 日&#xff08;星期三&#xff09;发布了其 .NET 5软件开发平台&#xff0c;强调平台的统一&#xff0c;并引入了 C# 9 和 F# 5 编程语言&#xff0c;新平台朝着桌面、Web、移动、云和 IoT 目标统一 .NET 开发体验的…
阅读更多...
.NetCore HttpClient发送请求的时候为什么自动带上了一个RequestId头部？

.NetCore HttpClient发送请求的时候为什么自动带上了一个RequestId头部？

奇怪的问题最近在公司有个系统需要调用第三方的一个webservice。本来调用一个下很简单的事情&#xff0c;使用HttpClient构造一个SOAP请求发送出去拿到XML解析就是了。可奇怪的是我们的请求在运行一段时间后就会被服务器504给拒绝掉了。导致系统无法使用&#xff0c;用户叫苦连…
阅读更多...
ASP.NETCore小技巧：使用测试用户中间件

ASP.NETCore小技巧：使用测试用户中间件

哈喽大家好&#xff0c;这篇文章其实很早就想写了&#xff0c;因为一直会有小伙伴问到&#xff0c;但是我却始终拿不到好的方案&#xff0c;最近在录制《eShopOnContainer微服务架构》的视频&#xff0c;碰巧就看到了微软官方的代码中也有这方面的需求&#xff0c;而且和我的需…
阅读更多...
【招聘(深圳)】华强方特文化科技集团 .NET工程师

【招聘(深圳)】华强方特文化科技集团 .NET工程师

.NET高级开发工程师&#xff08;18-25K&#xff09;岗位职责&#xff1a;负责系统需求分析与设计&#xff1b;根据业务确定实现方案&#xff1b;对现有系统缺陷提出优化方案&#xff1b;负责系统关键功能开发及维护&#xff0c;保障系统的正常运行&#xff1b;带领指导团队开发…
阅读更多...
11座城市，58个.NET最新岗位速览，内推直通面试官！

11座城市，58个.NET最新岗位速览，内推直通面试官！

十一月风雪客&#xff0c;十二月乘衣归&#xff01;各个大厂秋招进行时&#xff0c;你行动了吗&#xff1f;借着这阵风&#xff0c;今天为大家提供一批.NET开发岗位内推&#xff01;58个优质的.NET开发岗位年薪过万到百万不等&#xff0c;总有一个适合你&#xff01;包含全国各…
阅读更多...
pdo mysql_PDO MySQL

pdo mysql_PDO MySQL

PDO MySQL如果文章有成千上万篇&#xff0c;该怎样保存&#xff1f;数据保存有多种方式&#xff0c;比如单机文件、单机数据库(SQLite)、网络数据库(MySQL、MariaDB)等等。根据项目来选择&#xff0c;做Web一般采用MySQL&#xff0c;本书也以MySQL为例。自学&#xff1a;1天。假…
阅读更多...
C# 8: 可变结构体中的只读实例成员

C# 8: 可变结构体中的只读实例成员

在之前的文章中我们介绍了 C# 中的 只读结构体&#xff08;readonly struct&#xff09;[1] 和与其紧密相关的 in 参数[2]。今天我们来讨论一下从 C# 8 开始引入的一个特性&#xff1a;可变结构体中的只读实例成员&#xff08;当结构体可变时&#xff0c;将不会改变结构体状态的…
阅读更多...
部署Dotnet Core应用到Kubernetes（一）

部署Dotnet Core应用到Kubernetes（一）

最近闲了点&#xff0c;写个大活&#xff1a;部署Dotnet应用到K8s。写在前边的话一直想完成这个主题。但这个主题实在太大了&#xff0c;各种拖延症的小宇宙不时爆发一下&#xff0c;结果就拖到了现在。这个主题&#xff0c;会是一个系列。在这个系列中&#xff0c;我会讨论将应…
阅读更多...
JAVA实验报告九异常处理_Java课后练习9（异常处理）

JAVA实验报告九异常处理_Java课后练习9（异常处理）

动手动脑1:import javax.swing.*;class AboutException {public static void main(String[] a){int i1, j0, k;ki/j;try{k i/j; // Causes division-by-zero exception//throw new Exception("Hello.Exception!");}catch ( ArithmeticException e){System.out.print…
阅读更多...
java 实现 指派_TAP任务指派问题的汇编实现

java 实现 指派_TAP任务指派问题的汇编实现

近六周的课程设计&#xff0c;编了一个四百行的汇编程序&#xff0c;编的过程很不顺利&#xff0c;遇到种种意想不到的困难&#xff0c;但最终能够实现&#xff0c;可谓欣喜若狂&#xff0c;这期间学到了好多好多&#xff0c;遇到问题怎么精下心来解决&#xff0c;同时对汇编的…
阅读更多...
.NET 5.0正式发布，有什么功能特性(翻译)

.NET 5.0正式发布，有什么功能特性(翻译)

我们很高兴今天.NET5.0正式发布。这是一个重要的版本—其中也包括了C# 9和F# 5大量新特性和优秀的改进。微软和其他公司的团队已经在生产和性能测试环境中开始使用了。这些团队向我们反馈的结果比较令人满意&#xff0c;它证明了对性能提升及降低Web应用托管成本的机会有积极的…
阅读更多...
简单聊聊C#中lock关键字

简单聊聊C#中lock关键字

为了避免多个线程同时操作同一资源&#xff0c;引起数据错误&#xff0c;通常我们会将这个资源加上锁&#xff0c;这样在同一时间只能有一个线程操作资源。在C#中我们使用lock关键字来锁定资源&#xff0c;那lock关键字是如何实现锁定的呢&#xff1f;我们先看一段代码&#xf…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023