java 写tb级文件_三管齐下!TB 级文件的上传性能瞬间被优化 100 倍!

f0398bfc9accae3169289246bdf98c81.gif

807312f032a9dae00fe0b968e328ed63.png

作者 | 中华石杉

责编 | 伍杏玲

本文经授权转载石杉的架构笔记(ID:shishan100)

这篇文章我们来看看,世界上最优秀的分布式文件系统HDFS,是如何对超大文件的上传做性能优化的?

首先,我们还是通过一张图来看一下文件上传的大概的原理。

20fbb77798e427ac58a3d5bb126493f5.png

由上图所示,文件上传的原理,其实说出来也简单。

比如有个TB级的大文件,太大了,HDFS客户端会给拆成很多block,一个block就是128MB。

这个HDFS客户端你可以理解为是云盘系统、日志采集系统之类的东西。

比如有人上传一个1TB的大文件到网盘,或者是上传个1TB的大日志文件。

然后,HDFS客户端把一个一个的block上传到第一个DataNode

第一个DataNode会把这个block复制一份,做一个副本发送给第二个DataNode。

第二个DataNode发送一个block副本到第三个DataNode。

所以你会发现,一个block有3个副本,分布在三台机器上。任何一台机器宕机,数据是不会丢失的。

最后,一个TB级大文件就被拆散成了N多个MB级的小文件存放在很多台机器上了,这就是分布式存储。

8199d732327228e234d3b4f3e724838d.png

原始的文件上传方案

今天要讨论的问题,就是HDFS客户端上传TB级大文件时候,是怎么上传呢?

我们先来考虑一下,如果用一个比较原始的方式来上传,应该怎么做?

大概能想到的是下面这个图里的样子。

799a4092c1552b18f8ae5be4296d1c11.png

很多Java的初学者,估计都知道这样来上传文件。

其实无非就是不停的从本地磁盘文件用输入流读取数据,读到一点,就立马通过网络的输出流写到DataNode里去。

上面这种流程图的代码,估计刚毕业的同学都可以立马写出来。因为对文件的输入流最多就是个FileInputStream。而对DataNode的输出流,最多就是个Socket返回的OutputStream。

然后中间找一个小的内存byte[]数组,进行流对拷就行了,从本地文件读一点数据,就给DataNode发一点数据。

但是如果你要这么弄,性能是极其低下的,网络通信讲究的是适当频率,每次batch批量发送。

你得读一大批数据,通过网络通信发一批数据,不能说读一点点数据,就立马来一次网络通信,就发出去这一点点的数据。

所以如果按照上面这种原始的方式,绝对会导致网络通信效率极其低下,大文件上传性能很差,为什么这么说?

相当于你可能刚读出来几百个字节的数据,立马就写网络,卡顿个比如几百毫秒。

然后再读下一批几百个字节的数据,再写网络卡顿个几百毫秒,这个性能很差,在工业级的大规模分布式系统中,是无法容忍的。

e7b72f0f36074b8102b545402823fae8.png

如何对大文件上传进行性能优化?

好,看完了原始的文件上传,我们来看看Hadoop中分布式文件系统HDFS,是如何对大文件上传进行性能优化的?

一起来看看下面那张图。

cec2a56d66268faa01807a50eca740d3.png

首先你需要自己创建一个针对本地TB级磁盘文件的输入流,然后读到数据之后立马写入HDFS提供的FSDataOutputStream输出流。

这个FSDataOutputStream输出流在干啥?大家觉得他会天真的立马把数据通过网络传输写给DataNode吗?

答案当然是否定的了!这么干的话,不就跟之前的那种方式一样了!

1.  Chunk缓冲机制

首先,数据会被写入一个chunk缓冲数组,这个chunk是一个512字节大小的数据片段,你可以这么来理解。

然后这个缓冲数组可以容纳多个chunk大小的数据在里面缓冲。

光是这个缓冲,首先就可以让客户端快速的写入数据了,不至于说几百字节就要进行一次网络传输,想一想,是不是这样?

2. Packet数据包机制

接着,当chunk缓冲数组都写满了之后,就会把这个chunk缓冲数组进行一下chunk切割,切割为一个一个的chunk,一个chunk是一个数据片段。

然后多个chunk会直接一次性写入另外一个内存缓冲数据结构,就是Packet数据包

一个Packet数据包,设计为可以容纳127个chunk,大小大致为64mb。所以说大量的chunk会不断的写入Packet数据包的内存缓冲中。

通过这个Packet数据包机制的设计,又可以在内存中容纳大量的数据,进一步避免了频繁的网络传输影响性能

3. 内存队列异步发送机制

当一个Packet被塞满了chunk之后,就会将这个Packet放入一个内存队列来进行排队。

然后有一个DataStreamer线程会不断的获取队列中的Packet数据包,通过网络传输直接写一个Packet数据包给DataNode。

如果一个Block默认是128mb的话,那么一个Block默认会对应两个Packet数据包,每个Packet数据包是64MB。

也就是说,传送两个Packet数据包给DataNode之后,就会发一个通知说,一个Block的数据都传输完毕。

这样DataNode就知道自己收到一个Block了,里面包含了人家发送过来的两个Packet数据包。

1b72fa5d7d476793e338dd3494b19901.png

总结

OK,大家看完了上面的那个图以及Hadoop的HDFS采取的大文件上传机制,是不是感觉设计的很巧妙?

说白了,工业级的大规模分布式系统,都不会采取特别简单的代码和模式,那样性能很低下。

这里都有大量的并发优化、网络IO优化、内存优化、磁盘读写优化的架构设计、生产方案在里面。

所以大家观察上面那个图,HDFS客户端可以快速的将TB级大文件的数据读出来,然后快速的交给HDFS的输出流写入内存。

基于内存里的chunk缓冲机制、packet数据包机制、内存队列异步发送机制。绝对不会有任何网络传输的卡顿,导致大文件的上传速度变慢。

反而通过上述几种机制,可以上百倍的提升一个TB级大文件的上传性能。

作者简介:中华石杉,十余年BAT架构经验倾囊相授

公众号:石杉的架构笔记(ID:shishan100)

14e46a21f479ff4d7f5186069943f57b.png

热 文 推 荐

202871630f120ffb276f0e5b08c84702.png

你点的每个“在看”,我都认真当成了喜欢

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/457214.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

CentOS7下安装Redis — 单节点

2019独角兽企业重金招聘Python工程师标准>>> 1. 环境准备 安装编译所需要的包: yum install gcc tcl 2. 下载redis http://download.redis.io/releases/redis-3.2.7.tar.gz 3. 安装redis ## 创建redis的安装目录 mkdir /usr/local/redis## 解压redis tar…

笔记本中美化代码的方法

这里向大家推荐一个很好用的记笔记软件,微软的OneNote,这个笔记软件,支持分区和分区组的创建,而且入门简单,界面简洁,很适合从word过渡过来的人来记笔记! 不过如果直接记笔记,对于程序员来说,可能希望代码在笔记本上更好看一些,那么应该怎么办呢?下面提供了在OneNote中,让代码…

工具使用——印象(汇总)

作者:桂。 时间:2017-02-09 23:11:30 链接:http://www.cnblogs.com/xingshansi/articles/6384097.html 说明:转载请注明出处,谢谢。 前言 本文仅仅介绍印象笔记的使用,至于挖掘机哪家强,本文不…

深入理解Python的logging模块:从基础到高级

在Python编程中,日志记录是一种重要的调试和错误追踪工具。Python的logging模块提供了一种灵活的框架,用于发出日志消息,这些消息可以被发送到各种输出源,如控制台、文件、HTTP GET/POST位置等。本文将深入探讨Python的logging模块…

centos7安装java6_CentOS7.6安装jdk1.8

2、登录Linux服务器,通过rz命令将jdk导入服务器如果没有rz命令 需要先安装lrzszyum install lrzsz -y3、将jdk压缩包解压到指定路径 -C 指定路径4、配置环境变量编辑/etc/profile文件 在末尾加上以下内容 wq保存退出source /etc/profile文件 使配置文件生效export J…

人生苦短,我用python——当我在玩python的时候我玩些什么 -

程序的基本思路 用一个txt文件记录电脑的一天内累计使用时间累计使用时间超过若干小时就会自动关机程序开机自动运行 为什么我最后选择了python 想着怎么写、搜资料的时候就发现Java并不适合,虽然不是不能实现,但有好几个问题解决起来都有点麻烦。对我这…

Twisted入门教程(5)

2019独角兽企业重金招聘Python工程师标准>>> 第五部分:由Twited支持的诗歌下载服务客户端 你可以从这里从头开始阅读这个系列 抽象地构建客户端 在第四部分中,我们构建了第一个使用Twisted的客户端。它确实能很好地工作,但仍有提高…

**print('人生苦短 我爱Python')**

print(‘人生苦短 我爱Python’) 一、变量 **""" 1.代码自上而下执行 2_运算符和表达式.一行一句,不要把多个语句写到一行上,可读性不好 3中文只能出现在引号里,其他地方不能出现中文 4不能随意缩进 """**pr…

笔记本(华硕UL80VT)软件超频setFSB

Warning !!!If you are a beginner, do not use this software. This software is for power users only. Use "SetFSB.exe" at your own risk.试了setfsb各种版本,基本不能打开。还有官网的免费版,居然不能用,真是很奇怪。 官网&a…

Node.js~在linux上的部署

我们以centOS为例来说说如何部署node.js环境 一 打开centos,然后开始下载node.js包 curl --silent --location https://rpm.nodesource.com/setup_6.x | bash - yum -y install nodejs 二 安装gcc环境 yum install gcc-c make 安装完成! 三 安装nodejs的npm,这是一个包程序工具…

LeetCode题解-3-Longest Substring Without Repeating Characters

2019独角兽企业重金招聘Python工程师标准>>> 解题思路 首先要读懂题目,它要求的是找到最长的子串,并且子串中没有出现重复的字符。 我的想法,是用一个map存储每个字符最后出现的位置,还要有个变量start,它用…

java从哪学到哪_Java JVM怎么学习啊?从哪方面入手?

叮当猫咪一、 JVM的生命周期  1. JVM实例对应了一个独立运行的java程序它是进程级别  a) 启动。启动一个Java程序时,一个JVM实例就产生了,任何一个拥有public static void main(String[] args)函数的class都可以作为JVM实例运行的起点  b) 运行。m…

JMeter处理Cookie与Session

cookie 和session 的区别: 1、cookie数据存放在客户的浏览器上,session数据放在服务器上。 2、cookie不是很安全,别人可以分析存放在本地的COOKIE并进行COOKIE欺骗 考虑到安全应当使用session。 3、session会在一定时间内保存在服务器上。当…

Maximum sum(poj 2479)

题意:给一段数列,将这个数列分成两部分,使两部分的最大子段和的和最大,输出和/*看数据没想到是(O)n的算法,求出从前向后的最大子段和和从后向前的最大子段和,然后枚举断点。 第一次提交不小心折在数组最小值…

蚂蚁分类信息系统 5.8 信息浏览量后台自定义设置

mymps 蚂蚁分类信息是一款基于PHPMySQL的建站系统,为在各种服务器上架设分类信息以及地方门户网站提供完美的解决方案. mymps5.8 下载 蚂蚁分类系统 5.8下载 蚂蚁分类系统下载 mymps下载 蚂蚁分类信息系统 5.8 原信息浏览量后台无法自定义,现增加后台自定义浏览量…

python编写四位数验证码

def verifycode(request):#引入绘图模块from PIL import Image, ImageDraw, ImageFont#引入随机函数模块import random#定义变量,用于画面的背景色、宽、高bgcolor (random.randrange(20, 100), random.randrange(20, 100), random.randrange(20, 100))width 100h…

php 计算数据偏离度,关于偏离度的测算方法

2015年6月技术总结——关于偏离度的测算方法研究院公用事业部 路璐引言《原理》中说“偏离度是指每一种偿债来源与财富创造能力的距离,所体现的是偿债来源对债务安全的保障程度,唯有通过揭示偿债来源与财富创造能力偏离度才能真正区别每一种偿债来源的风…

Django中celery配置总结

情景: 用户发起request,并等待response返回。在本些views中,可能需要执行一段耗时的程序,那么用户就会等待很长时间, 造成不好的用户体验,比如发送邮件、手机验证码等。 使用celery后,情况就不…

test.php.bak,MongoDB热备份工具:解决官方版备份缺陷

贺春旸,凡普金科DBA团队负责人,《MySQL管理之道:性能调优、高可用与监控》第一、二版作者,曾任职于中国移动飞信、安卓机锋网。致力于MariaDB、MongoDB等开源技术的研究,主要负责数据库性能调优、监控和架构设计。工具…

zookeeper工作原理、安装配置、工具命令简介

1 Zookeeper简介Zookeeper 是分布式服务框架,主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等等。 ZooKeeper是一个分布式的,开放源码的分布式应用程序…