【大数据】学习笔记

文章目录

    • @[toc]
      • NAT配置
      • IP配置
        • SecureCRT配置
          • Properties
            • Terminal
      • Java安装
        • 环境变量配置
      • Hadoop安装
        • 修改配置文件
          • hadoop-env.sh
          • yarn-env.sh
          • slaves
          • core-site.xml
          • hdfs-site.xml
          • mapred-site.xml
          • yarn-site.xml
        • 环境变量配置
      • IP与主机名映射关系配置
        • hostname配置
        • 映射关系配置
      • 关闭防火墙
        • 防火墙临时关闭
        • 防火墙永久关闭
      • 关闭SELinux
        • SELinux临时关闭
        • SELinux永久关闭
      • 建立互信关系
        • 将公钥文件id_rsa.pub拷贝到authorized_keys
        • 修改权限
        • 将slave_1、slave_2的公钥拷贝到master的authorized_keys
        • 远程拷贝
        • 测试互信关系
      • Hadoop启动
        • NameNode格式化
        • 报错解决

因上努力

个人主页:丷从心·

系列专栏:大数据

果上随缘


NAT配置

  • 编辑 → \rightarrow 虚拟网络编辑器 → \rightarrow 移除 V M n e t 8 → VMnet8 \rightarrow VMnet8添加 V M n e t 8 → N A T VMnet8 \rightarrow NAT VMnet8NAT模式
  • 初始化:桥接模式-> N A T NAT NAT模式

IP配置

DEVICE=eth0
BOOTPROTO=static
NM_CONTROLLED=yes
ONBOOT=yes
TYPE=Ethernet
IPADDR=192.168.123.10
NETMASK=255.255.255.0
GATEWAY=192.168.123.2
DNS1=202.106.0.20
HWADDR=00:0c:29:1e:d0:84

SecureCRT配置
Properties
Terminal
  • E m u l a t i o n Emulation Emulation
    • T e r m i n a l → L i n u x Terminal \rightarrow Linux TerminalLinux
    • S c r o l l b a c k b u f f e r → 128000 Scrollback \ buffer \rightarrow 128000 Scrollback buffer128000
  • A p p e a r a n c e Appearance Appearance
    • C u r r e n t c o l o r s c h e m e → T r a d i t i o n a l Current \ color \ scheme \rightarrow Traditional Current color schemeTraditional
    • C h a r a c t e r e n c o d i n g → U T F − 8 Character \ encoding \rightarrow UTF-8 Character encodingUTF8

Java安装

环境变量配置
vim ~/.bashrc
export JAVA_HOME=/usr/local/src/jdk_1.8.0_111
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

Hadoop安装

修改配置文件
hadoop-env.sh
vim hadoop-env.sh
export JAVA_HOME=${JAVA_HOME}
yarn-env.sh
vim yarn-env.sh
export JAVA_HOME=${JAVA_HOME}
slaves
vim slaves
slave1
slave2
core-site.xml
vim core-site.xml
<configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value><description>指定默认的文件系统</description> </property><property><name>hadoop.tmp.dir</name><value>file:/usr/local/src/hadoop_2.6.1/tmp</value><description>Hadoop 临时文件存放目录</description> </property>
</configuration>
hdfs-site.xml
vim hdfs-site.xml
<configuration><property><name>dfs.namenode.secondary.http-address</name><value>master:9001</value><description>SecondaryNameNode 地址和端口</description> </property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/src/hadoop_2.6.1/dfs/name</value><description>fsimage 镜像存放目录</description> </property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/src/hadoop_2.6.1/dfs/data</value><description>HDFS 数据文件存放目录</description> </property><property><name>dfs.replication</name><value>3</value><description>Block 副本数</description> </property>
</configuration>
mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value><description>指定运行 MapReduce 的环境是 Yarn</description> </property><property><name>mapreduce.map.memory.mb</name><value>1536</value><description>调度器为每个 Map Task 申请的内存数, 各 Job 也可以单独指定, 如果实际使用的资源量超过该值,则会被强制杀死</description> </property><property><name>mapreduce.map.java.opts</name><value>-Xmx1024M</value></property><property><name>mapreduce.reduce.memory.mb</name><value>3072</value><description>调度器为每个 Reduce Task 申请的内存数, 各 Job 也可以单独指定, 如果实际使用的资源量超过该值, 则会被强制杀死</description> </property><property><name>mapreduce.reduce.java.opts</name><value>-Xmx2560M</value></property><property><name>mapreduce.job.reduce.slowstart.completedmaps</name><value>0.1</value><description>当 Map Task 完成 10% 时, 为 Reduce Task 申请资源, Reduce Task 开始进行拷贝 Map Task 结果数据和执行 Reduce Shuffle 操作, 默认值为 0.05</description></property> <!--Hadoop 历史服务器--><property><name>mapreduce.jobhistory.address</name><value>master:10020</value><description>MapReduce JobHistory 服务器进程间通信地址</description></property><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value><description>MapReduce JobHistory 服务器的 Web UI</description></property><property><name>mapreduce.jobhistory.done-dir</name><value>/mr-history/done</value><description>已执行完毕的作业信息存放目录</description></property><property><name>mapreduce.jobhistory.intermediate-done-dir</name><value>/mr-history/tmp</value><description>正在运行的作业信息存放目录</description></property><property><name>yarn.app.mapreduce.am.staging-dir</name><value>/mr-history/hadoop-yarn</value><description>MapReduce 作业提交时所使用的临时目录</description></property> 
</configuration>
yarn-site.xml
vim yarn-site.xml
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value><description>NodeManager 上运行的附属服务</description> </property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.resourcemanager.address</name><value>master:8032</value><description>客户端访问 ResourceManager 的地址</description> </property><property><name>yarn.resourcemanager.scheduler.address</name><value>master:8030</value><description>ApplicationMaster 访问 ResourceManager 的地址</description> </property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>master:8035</value><description>NodeManager 访问 ResourceManager 的地址</description> </property><property><name>yarn.resourcemanager.admin.address</name><value>master:8033</value><description>管理员访问 ResourceManager 的地址</description> </property><property><name>yarn.resourcemanager.webapp.address</name><value>master:8088</value><description>Web UI 访问 ResourceManager 的地址</description> </property><!--关闭内存检查--><property><name>yarn.nodemanager.pmem-check-enabled</name><value>false</value><description>是否启动一个线程检查每个任务正使用的物理内存量, 如果任务超出分配值, 则直接将其杀掉, 默认值为true</description></property><property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value><description>是否启动一个线程检查每个任务正使用的虚拟内存量, 如果任务超出分配值, 则直接将其杀掉, 默认值为true</description></property> <!--日志聚合--><property><name>yarn.log-aggregation-enable</name><value>true</value><description>开启日志聚合功能, 日志保存在 HDFS 上</description></property><property><name>yarn.log-aggregation.retain-seconds</name><value>86400</value><description>聚合后的日志在 HDFS 上的保存时间, 单位为秒</description> 	</property><property><name>yarn.log.server.url</name><value>http://master:19888/jobhistory/logs</value><description>日志聚合服务器 URL</description></property> 
</configuration>
环境变量配置
vim ~/.bashrc
export HADOOP_HOME=/usr/local/src/hadoop_2.6.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

IP与主机名映射关系配置

hostname配置
  • h o s t n a m e hostname hostname临时生效
hostname master
  • h o s t n a m e hostname hostname永久生效
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master
映射关系配置
vim /etc/hosts
192.168.123.10 master
192.168.123.11 slave1
192.168.123.12 slave2

关闭防火墙

防火墙临时关闭
systemctl stop firewalld.service
防火墙永久关闭
systemctl disable firewalld.service

关闭SELinux

SELinux临时关闭
setenforce 0
SELinux永久关闭
vim /etc/selinux/config
SELINUX=disabled

建立互信关系

ssh-keygen -t rsa
cd ~/.ssh
将公钥文件id_rsa.pub拷贝到authorized_keys
cat id_rsa.pub > authorized_keys
修改权限
chmod 600 authorized_keys
将slave_1、slave_2的公钥拷贝到master的authorized_keys
ssh slave1 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
远程拷贝
scp -rp /root/.ssh/authorized_keys root@slave1:/root/.ssh/authorized_keys
测试互信关系
ssh slave1

Hadoop启动

NameNode格式化
  • 第一次启动 H a d o o p Hadoop Hadoop需要对 N a m e N o d e NameNode NameNode进行格式化
hadoop namenode -format
报错解决
2734 -- main class information unavailable
rm -rf /tmp/hsperfdata_root/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/6391.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

分层图像金字塔变压器

文章来源&#xff1a;hierarchical-image-pyramid-transformers 2024 年 2 月 5 日 本文介绍了分层图像金字塔变换器 (HIPT)&#xff0c;这是一种新颖的视觉变换器 (ViT) 架构&#xff0c;设计用于分析计算病理学中的十亿像素全幻灯片图像 (WSI)。 HIPT 利用 WSI 固有的层次结…

【matlab基础知识】(三)二维曲线绘制plot

x[-pi:0.0001:pi]; 选择较小步距 ysin(tan(x))-tan(sin(x));plot(x,y) 条件和函数值做一个点乘 x[-2:0.02:2];y1.1*sign(x).*(abs(x)>1.1)x.*(abs(x)<1.1);plot(x,y) 颜色&#xff0c;线形&#xff0c;曲线上的标志 由于0.01cosx波动太小&#xff0c;所以plotyy绘制多…

正在载入qrc文件 指定的qrc文件无法找到。您想更新这个文件的位置么?

打开Qt的ui文件&#xff0c;弹出提示框 如果需要用到qrc文件&#xff0c;选择Yes&#xff0c;再选择qrc文件所在的位置&#xff1b;如果不需要qrc文件&#xff0c;可以选择No&#xff0c;然后用普通文本编辑器打开&#xff0c;将“ <resources> <include location&q…

ARP欺骗使局域网内设备断网

一、实验准备 kali系统&#xff1a;可使用虚拟机软件模拟 kali虚拟机镜像链接&#xff1a;https://www.kali.org/get-kali/#kali-virtual-machines 注意虚拟机网络适配器采用桥接模式 局域网内存在指定断网的设备 二、实验步骤 打开kali系统命令行&#xff1a;ctrlaltt可快…

Zookeeper服务

一、什么是Zookeeper Zookeeper 是一个分布式应用程序的协调服务&#xff0c;它提供了一个高性能的分布式配置管理、分布式锁服务和分布式协调服务。它是 Apache 软件基金会的一个项目&#xff0c;被设计用来处理大规模的分布式系统中的一些关键问题。 Zookeeper的组成员关系&…

【C语言】——结构体

【C语言】——结构体 一、结构体类型的声明1.1、结构体的声明1.2、结构体变量的创建和初始化1.3、结构体的特殊声明1.4、结构体的自引用1.5、结构体的重命名 二、 结构体的内存对齐2.1、对齐规则2.2、结构体对齐实践2.3、为什么存在内存对齐2.4、修改默认对齐数 三、结构体传参…

GPU、DPU、苹果M1芯片的晶体管数量收集汇总(不断更新)

马斯克说 第一性原理可以用一个系统最底层的物理学方程去计算它可以出现的所有现象&#xff0c;所以也称为从头计算法&#xff0c;拉丁文是ab intio&#xff1b; 与之相对的&#xff0c;是不去探究一个系统最底层的物理学规律&#xff0c;而是在现象层面总结一些规律&#xff0…

VS Code 保存+格式化代码

在 VSCode 中&#xff0c;使用 Ctrl S 快捷键直接保存并格式化代码&#xff1a; 打开 VSCode 的设置界面&#xff1a;File -> Preferences -> Settings在设置界面搜索框中输入“format on save”&#xff0c;勾选“Editor: Format On Save”选项&#xff0c;表示在保存…

《Mask2Former》算法详解

文章地址&#xff1a;《Masked-attention Mask Transformer for Universal Image Segmentation》 代码地址&#xff1a;https://github.com/facebookresearch/Mask2Former 文章为发表在CVPR2022的一篇文章。从名字可以看出文章像提出一个可以统一处理各种分割任务&#xff08;…

C++ | Date 日期类详解

目录 简介 日期类总代码 | Date 类的定义 & 构造 & Print 类的定义 构造函数 & Print 比较类&#xff0c;如<、>、<...... 值加减类&#xff0c;如、-、、-...... 加减类具体分类 判断某个月有多少天 GetMonthDay 日期类 / &#xff08;- / -&…

随便聊一下 显控科技 控制屏 通过 RS485 接口 上位机 通讯 说明

系统搭建&#xff1a; 1、自己研发的一个小系统&#xff08;采集信号&#xff0c;将采集的信号数字化&#xff09;通过COM口&#xff0c;连接显控屏 COM3 口采用 485 协议送到显控屏&#xff08;显控科技&#xff09;的显示屏展示出来&#xff09;。 2、显控屏 将 展示的数据…

Jenkins(超详细的Docker安装Jenkins教程!!!)

Jenkins Jenkins&#xff0c;原名 Hudson&#xff0c;2011 年改为现在的名字。它是一个开源的实现持续集成的软件工具。 官方网站&#xff1a;https://www.jenkins.io/ 中文文档&#xff1a;https://www.jenkins.io/zh/ 为什么需要Jenkins&#xff1f; 我们以前写完代码&a…

富格林:揭秘暗箱避免欺诈套路

富格林指出&#xff0c;黄金投资在投资市场上扮演着重要的角色&#xff0c;在任何时期总有人在投资黄金。在投资市场中&#xff0c;据小编所知有不少投资者曾经遭遇过欺诈的经历&#xff0c;而这其中一个重要的原因是投资者落入暗箱陷阱中&#xff0c;所以富格林给大家总结了以…

Excel中怎样把单元格里的数据拆分成多行?

时常会遇到这种情况&#xff0c;需要将一个单元格里的数据分拆到多行&#xff0c;可以使用公式&#xff0c;这里演示使用基础操作的办法。 按照excel使用经验&#xff0c;可以复制数据&#xff0c;粘贴到MS Word里&#xff0c;这个是excel的同族软件&#xff0c;兼容性好。 在…

代码随想录算法训练营第三十八天| 509. 斐波那契数,70. 爬楼梯 , 746. 使用最小花费爬楼梯

509. 递归经典入门&#xff0c;不难。需要注意在初始化dp数组的时候注意的是new int[n 1], 不是n. 因为下标从0开始所以在遍历的时候要等n再停止&#xff0c;最后返回dp的最后一个值就可以。 class Solution {public int fib(int n) {if (n < 1) return n; in…

Redis的面试

认识Redis 认识NoSQL SQL&#xff08;关系型数据库&#xff09; NoSQL&#xff08;非关系型数据库&#xff09; 1.结构化 非结构化 2.关联的 非关联的 3.SQL查询 非SQL 4.事务 …

matlab绘制热点图

在MATLAB中&#xff0c;通常使用imagesc、pcolor、heatmap&#xff08;需要Statistics and Machine Learning Toolbox&#xff09;等函数来绘制热点图&#xff08;也称为热力图&#xff09;。热点图通常用于可视化矩阵数据&#xff0c;其中每个单元格的颜色表示矩阵中相应元素的…

sql注入手注语句

?id100 union select 1,database(),3-- asd ​ ?id100 union select 1,table_name,3 from information_schema.tables where table_schemasecurity limit 0,1-- asd ?id100 union select 1,group_concat(table_name),3 from information_schema.tables where table_schemada…

Element-UI库:Web前端开发的强大助力

Element-UI库&#xff1a;Web前端开发的强大助力 一、引言二、Element-UI概述三、Element-UI的使用场景四、Element-UI的最佳实践五、Element-UI的未来发展趋势六、Element-UI的进阶应用七、Element-UI的性能优化八、结语使用Element-UI框架的代码示例示例1&#xff1a;基本按钮…

[C++基础学习-07]----C++结构体详解

前言 结构体&#xff08;Struct&#xff09;是C中一种用户定义的复合数据类型&#xff0c;用于存储不同类型的数据项。结构体可以包含不同类型的数据成员&#xff0c;这些数据成员可以是基本类型&#xff08;如int、float、char等&#xff09;&#xff0c;也可以是数组、指针、…