hdfs的副本数为啥增加了_HDFS详解之块大小和副本数

1.HDFS

HDFS : 伪分布式(学习)

NN

DN

SNN

sbin/start-dfs.sh(开启hdfs使用的脚本)

bin/hdfs dfs -ls (输入命令加前缀bin/hdfs dfs)

2.block(块)

dfs.blocksize : 134217728(字节) / 128M 官网默认一个块的大小128M

*举例理解块

1个文件 130M,默认一个块的大小128M

130/128=1…2M有两个块128M 2M

1个文件 260M 260/128=2…4M有三个块

2个128M 1个4M

每个瓶子容量128ML 1碗水260ML

需要3个瓶子

A 128mlB 128mlC 4ml

3.副本数

dfs.replication 1 / 3指的是一个块的复制数(1是在学习中,3是在生产中)

例如

*每个瓶子容量128ML 1碗水260ML

需要3个瓶子

A 128ml A 128ml A1 A2 A3 (A1 A2 A3 为副本数)

B 128ml B 128ml B1 B2 B3 …

C 4ml C 4ml C1 C2 C3 …

260/128=2...4M 3个块

实际有9个块= 33副本实际存储空间 260M3

面试题: 一个文件160m,副本数2,块大小128m,实际存储空间多少?块数量多少?

答:160/128=1…32 2个块

但是有副本数为2就是22=4个块

实际存储空间是1604=640m

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/532356.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux下的ELF文件、链接、加载与库(含大量图文解析及例程)

Linux下的ELF文件、链接、加载与库 链接是将将各种代码和数据片段收集并组合为一个单一文件的过程,这个文件可以被加载到内存并执行。链接可以执行与编译时,也就是在源代码被翻译成机器代码时;也可以执行于加载时,也就是被加载器加…

mysql gender_Mysql第一弹

1、创建数据库pythoncreate database python charsetutf8;2、设计班级表结构为id、name、isdelete,编写创建表的语句create table classes(id int unsigned auto_increment primary key not null,name varchar(10),isdelete bit default 0);向班级表中插入数据pytho…

python virtualenv nginx_Ubuntu下搭建Nginx+supervisor+pypy+virtualenv

系统:Ubuntu 14.04 LTS搭建python的运行环境:NginxSupervisorPypyVirtualenv软件说明:Nginx:通过upstream进行负载均衡Supervisor:管理python进程Pypy:用Python实现的Python解释器PyPy is a fast, complian…

如何设置mysql表中文乱码_php mysql表中文乱码问题如何解决

为避免mysql中出现中文乱码,建议在创建数据库时指定编码格式:复制代码 代码示例:create database zzjz CHARACTER SET gbk COLLATE gbk_chinese_ci;create table zz_employees (employeeid int unsigned not null auto_increment primary key,name varch…

java 按钮 监听_Button的四种监听方式

Button按钮设置点击的四种监听方式注:加粗放大的都是改变的代码1.使用匿名内部类的形式进行设置使用匿名内部类的形式,直接将需要设置的onClickListener接口对象初始化,内部的onClick方法会在按钮被点击的时候执行第一个活动的java代码&#…

java int转bitmap_Java Base64位编码与String字符串的相互转换,Base64与Bitmap的相互转换实例代码...

首先是网上大神给的类package com.duanlian.daimengmusic.utils;public final class Base64Util {private static final int BASELENGTH 128;private static final int LOOKUPLENGTH 64;private static final int TWENTYFOURBITGROUP 24;private static final int EIGHTBIT …

linux查看java虚拟机内存_深入理解java虚拟机(linux与jvm内存关系)

本文转载自美团技术团队发表的同名文章https://tech.meituan.com/linux-jvm-memory.html一, linux与进程内存模型要理解jvm最重要的一点是要知道jvm只是linux的一个进程,把jvm的视野放大,就能很好的理解JVM细分的一些概念下图给出了硬件系统进程三个层面内存之间的关系.从硬件上…

java 循环stringbuffer_java常用类-----StringBuilder和StringBuffer的用法

一、可变字符常用方法package cn.zxg.PackgeUse;/*** 测试StringBuilder,StringBuffer可变字符序列常用方法*/public class TestStringBuilder2 {public static void main(String[] args) {StringBuilder sbnew StringBuilder();for(int i0;i<26;i){char temp(char)(ai);sb.…

java function void_Java8中你可能不知道的一些地方之函数式接口实战

什么时候可以使用 Lambda&#xff1f;通常 Lambda 表达式是用在函数式接口上使用的。从 Java8 开始引入了函数式接口&#xff0c;其说明比较简单&#xff1a;函数式接口(Functional Interface)就是一个有且仅有一个抽象方法&#xff0c;但是可以有多个非抽象方法的接口。 java8…

java jvm内存地址_JVM--Java内存区域

Java虚拟机在执行Java程序的过程中会把它所管理的内存划分为若干个不同的数据区域&#xff0c;如图&#xff1a;1.程序计数器可以看作是当前线程所执行的字节码的行号指示器&#xff0c;通俗的讲就是用来指示执行哪条指令的。为了线程切换后能恢复到正确的执行位置Java多线程是…

java情人节_情人节写给女朋友Java Swing代码程序

马上又要到情人节了&#xff0c;再不解风情的人也得向女友表示表示。作为一个程序员&#xff0c;示爱的时候自然也要用我们自己的方式。这里给大家上传一段我在今年情人节的时候写给女朋友的一段简单的Java Swing代码&#xff0c;主要定义了一个对话框&#xff0c;让女友选择是…

java web filter链_filter过滤链:Filter链是如何构建的?

在一个Web应用程序中可以注册多个Filter程序&#xff0c;每个Filter程序都可以针对某一个URL进行拦截。如果多个Filter程序都对同一个URL进行拦截&#xff0c;那么这些Filter就会组成一个Filter链(也叫过滤器链)。Filter链用FilterChain对象来表示&#xff0c;FilterChain对象中…

java web 应用技术与案例教程_《Java Web应用开发技术与案例教程》怎么样_目录_pdf在线阅读 - 课课家教育...

出版说明前言第1章 java Web应用开发技术概述1.1 Java Web应用开发技术简介1.1.1 Java Web应用1.1.2 Java Web应用开发技术1.2 Java Web开发环境及开发工具1.2.1 JDK的下载与安装1.2.2 Tomcat服务器的安装和配置1.2.3 MyEclipse集成开发工具的安装与操作1.3 Java Web应用程序的…

java环境变量自动设置_自动设置Java环境变量

echo offSETLOCALENABLEDELAYEDEXPANSIONfor /f "tokens2* delims " %%i in(reg query "HKLM\Software\JavaSoft\Java Development Kit" /s ^|find /I"JavaHome") do (echo 找到目录 %%jset /p isOK该目录是不是JDK^(JavaDevelopment Kit^)的安装…

mysql运行状态监控研究内容_如何监控mysql主从的运行状态shell脚本实例介绍

如何监控mysql主从的运行状态shell脚本实例介绍。#!/bin/bash#define mysql variablemysql_user”root”mysql_pass”123456″email_addr”slavecentos.bz”mysql_statusnetstat -nl | awk ‘NR>2{if ($4 ~ /.*:3306/) {print “Yes”;exit 0}}’if [ "$mysql_status&q…

java 100% cpu_Java服务,CPU 100%问题如何快速定位?

Java服务&#xff0c;有时候会遇到CPU 100%的问题&#xff0c;对于这样的问题&#xff0c;我们如何快速定位并解决呢&#xff1f;一般会有如下三个步骤&#xff1a;1、找到最耗CPU的进程2、找到这个进程中最耗CPU的线程3、查看堆栈信息&#xff0c;定位线程的什么操作消耗了大量…

java 泛型 加_Java泛型并将数字加在一起

为了一般地计算总和,您需要提供两个动作&#xff1a;>一种总计零项的方法>一种总结两个项目的方法在Java中,您可以通过界面完成.这是一个完整的例子&#xff1a;import java.util.*;interface adder {T zero(); // Adding zero itemsT add(T lhs, T rhs); // Adding two …

java 字母金字塔_LeetCode756:金字塔转换矩阵(JAVA题解)

题目描述现在&#xff0c;我们用一些方块来堆砌一个金字塔。 每个方块用仅包含一个字母的字符串表示。使用三元组表示金字塔的堆砌规则如下&#xff1a;对于三元组(A, B, C) &#xff0c;“C”为顶层方块&#xff0c;方块“A”、“B”分别作为方块“C”下一层的的左、右子块。当…

java final static_Java基础之final、static关键字

一、前言关于这两个关键字&#xff0c;应该是在开发工作中比较常见的&#xff0c;使用频率上来说也比较高。接口中、常量、静态方法等等。但是&#xff0c;使用频繁却不代表一定是能够清晰明白的了解&#xff0c;能说出个子丑演卯来。下面&#xff0c;对这两个关键字的常见用法…

docker mysql57_docker安装mysql57

提高应用交付效率mysql1. 支持服务发现&#xff0c;避免服务重启迁移 IP 变动带来影响&#xff1b;2. 支持微服务化&#xff0c;下降代码维护及重构复杂度&#xff0c;适应快速变化的业务需求。sql快速响应业务变化docker1. 灵活水平扩展&#xff0c;应对业务量的骤然变化&…