hadoop1常见配置含义

参数                            取值                                         备注

fs.default.nameNameNode 的URI。hdfs://主机名/
dfs.hosts/dfs.hosts.exclude许可/拒绝DataNode列表。如有必要，用这个文件控制许可的datanode列表。
dfs.replication默认： 3数据复制的分数
dfs.name.dir

举例：/home/username/hadoop/namenode

默认：/tmp

当这个值是一个逗号分割的目录列表时，nametable数据将会被复制到所有目录中做冗余备份。
dfs.data.dir

举例：/home/username/hadoop/datanode

默认： /tmp

当这个值是逗号分割的目录列表时，数据将被存储在所有目录下，通常分布在不同设备上。
   
mapred.system.dirMap/Reduce框架存储系统文件的HDFS路径。比如/hadoop/mapred/system/ 。这个路径是默认文件系统（HDFS）下的路径， 须从服务器和客户端上均可访问。
mapred.local.dir本地文件系统下逗号分割的路径列表，Map/Reduce临时数据存放的地方。多路径有助于利用磁盘i/o。
mapred.tasktracker.{map|reduce}.tasks.maximum某一TaskTracker 上可运行的最大Map/Reduce任务数，这些任务将同时各自运行。默认为2（2个map和2个reduce），可依据硬件情况更改。
mapred.job.trackerJobTracker 的主机（或者IP）和端口。主机:端口 。
mapred.hosts/mapred.hosts.exclude许可/拒绝TaskTracker列表。如有必要，用这个文件控制许可的TaskTracker列表。
   
hadoop.job.history.user.location

默认：mapred.output.dir/_logs/history

也可以设置为none 来停用

作业的历史文件记录目录

 

conf/slaves 写入全部的slave的机器名或者IP

 

nameNode记住每个文件被映射成的 blockId。每个blockId对应的block会被复制到不同的机器上多余一份。

hadoop 默认的block 是 64MB

 

在M/R优化的时候可以通过修改一些配置文件的值来提高性能

转载于:https://www.cnblogs.com/tonychai/p/4516514.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/459878.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Android工程的编译过程

Android工程的编译过程

现在很多人想对Android工程的编译和打包进行自动化，比如建立每日构建系统、自动生成发布文件等等。这些都需要我们对Android工程的编译和打包有一个深入的理解，至少要知道它的每一步都做了什么，需要什么环境和工具，输入和输出是什…
阅读更多...
activiti 工作流设置并行审批_activity、jbpm5、snakerflow常用工作流审批流对比

activiti 工作流设置并行审批_activity、jbpm5、snakerflow常用工作流审批流对比

# 审批流调研背景由于目前产品研发组支持的产品项目越来越多， 同时几乎每个项目都会有导出审批，流程流转等需求，本着提高开发效率和组件化的目的，调研和开发通用的工作流组件，为后面的项目和新的需求提供快速支持。主要…
阅读更多...
java 后台开发关键词解释

java 后台开发关键词解释

bean类：是一些实体类，包括viewbean,databean等等。action类：可作为接收显示层的数据，连接显示层和业务逻辑实现层的控制层。model类：MVC中model层就是到层。在java中无特殊含义就是模块。util类：工具类dao:…
阅读更多...
docker mysql关掉后启动_Docker启动mysql的坑2

docker mysql关掉后启动_Docker启动mysql的坑2

正确启动mysql：docker run -p 3306:3306 --name mysql02 -e MYSQL_ROOT_PASSWORD123456 -d mysql此时虽然启动成功。但是用客户端链接的时候报错连接Docker启动的mysql出现：ERROR 2059 (HY000): Authentication plugin caching_sha2_password cannot be …
阅读更多...
Servlet基础知识（二）——web.xml文件的作用

Servlet基础知识（二）——web.xml文件的作用

http://www.cnblogs.com/yqskj/articles/2233061.html 转载于:https://www.cnblogs.com/wangerxiansheng/p/4113607.html
阅读更多...
Spring web应用最大的败笔

Spring web应用最大的败笔

第一篇 介绍下IOC DI Spring主要是业务层框架，现在已经发展成为一个完整JavaEE开发框架，它的主要特点是IoC DI和AOP等概念的融合，强项在面向切面AOP。推出之初因为Ioc/AOP等新设计理念值得框架设计者学习，现在已经成为Java世界主流…
阅读更多...
mysql备份的后缀名_mysql备份数据库后缀名

mysql备份的后缀名_mysql备份数据库后缀名

{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":4,"count":4}]},"card":[{"des":"阿里云数据库专家保驾护航，为用户…
阅读更多...
如何专注

如何专注

专注，据说是在这个时代能成功的基础。 看看自己这些分类、专注得了么？ 转载于:https://www.cnblogs.com/x3d/p/4117443.html
阅读更多...
mysql多主单向环形_mysql多主单向--gt;环形同步_MySQL

mysql多主单向环形_mysql多主单向--gt;环形同步_MySQL

bitsCN.com原理：MySQL的Replication是一种多个MySQL的数据库做主从同步的方案，特点是异步，广泛用在各种对MySQL有更高性能，更高可靠性要求的场合。与之对应的另一个技术是同步的MySQL Cluster，但因为比较复杂&#xff…
阅读更多...
***PHP 去除换行符

***PHP 去除换行符

PHP在不同的系统中，换行是不同的 Linux：\n Windows：\r\n mac：\r 所以去除回车换行的方法: 1.使用php定义好的变量（比较好的方法，推荐） $str str_replace(PHP_EOL, , $str); 2.使用str_replace …
阅读更多...
个人代码归档

个人代码归档

http://pan.baidu.com/s/1D7Qii 密码：52n3转载于:https://www.cnblogs.com/vvonline/p/4121141.html
阅读更多...
mysql current_timestamp 不自动更新_MySQL ON UPDATE CURRENT_TIMESTAMP不更新

mysql current_timestamp 不自动更新_MySQL ON UPDATE CURRENT_TIMESTAMP不更新

我有一张桌子，看起来像这样：CREATE TABLE IF NOT EXISTS Hosts (id int(128) NOT NULL AUTO_INCREMENT,IP varchar(15) NOT NULL DEFAULT ,Port varchar(5) NOT NULL DEFAULT ,Password varchar(32) NOT NULL DEFAULT ,Username varchar(32) NOT NULL DE…
阅读更多...
序列for循环语句

序列for循环语句

序列for循环语句 序列for循环语句允许重复遍历一组序列，而这组序列可以是任何可以重复遍历的序列，如由begin()和end()函数定义的STL序列。所有的标准容器都可用作这种序列，同时它也同样可以是std::string，初始化列表（l…
阅读更多...
mysql批量用trim限定_如何使用trim（）并更新mysql中的所有行[复制]

mysql批量用trim限定_如何使用trim（）并更新mysql中的所有行[复制]

{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":4,"count":4}]},"card":[{"des":"阿里云数据库专家保驾护航，为用户…
阅读更多...
C#中用WMI实现对驱动的查询

C#中用WMI实现对驱动的查询

using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Linq; using System.Management; using System.Text; using System.Threading.Tasks; using System.Windows.Forms;namespace WMI_驱动…
阅读更多...
01C语言的概述

01C语言的概述

一、计算机常识在学习C语言之前，先要了解一些计算机常识1.计算机只能识别0和1大家都知道，计算机要通电才能工作，说白了，它跟电视、洗衣机一样，都是电器。电器都有个共同的能力：懂得判断通电还是断电&#x…
阅读更多...
mysql5.7物理备份_Mysql5.7—运维常用备份方式

mysql5.7物理备份_Mysql5.7—运维常用备份方式

一、 Mysqldump备份结合binlog日志恢复使用mysqldump进行全库备份，并使用binlog日志备份，还原时，可以使用binlog日志恢复到备份前的任意位置或时间1. Binlog简介主要用于主从复制和恢复数据库，使用mysqlbinlog命令查看binlog二进制…
阅读更多...
XAMPP on Mac 组态 Virual Host

XAMPP on Mac 组态 Virual Host

首先，在hosts文件中添加virtual host域名。方向127.0.0.1 我一般使用的命名约定dev-domainname.comsudo nano /private/etc/hosts # VirtualHosts Mapping 127.0.0.1 dev-domainname.com接下来配置Apache。打开Apache的配置文件 /Applications/XAMPP/etc/httpd.conf…
阅读更多...
二叉查找树之二

二叉查找树之二

BST树的经典问题 首先构造如下一棵二元查找树（BST树）： C代码实现： typedef struct _BSTreeNode {int value;struct _BSTreeNode *left;struct _BSTreeNode *right;} BSTreeNode;static BSTreeNode* insert(BSTreeNode* q, int x) …
阅读更多...
mysql 停止服务内存_服务器莫名的内存高占用 导致 MySQL 停止运行问题

mysql 停止服务内存_服务器莫名的内存高占用 导致 MySQL 停止运行问题

这问题是年后开始出现的，服务器内存占用越来越高，一度达到90%，最后 MySQL 都停止运行了。贴吧签到的数据库用户 ID 这一项也丢失了，导致无法签到，断签了好些天，被提醒才发现，要挨打的。幸好设置…
阅读更多...
最新文章

Copyright @ 2022~2023