大数据集群搭建之hadoop、tomcat、jdk等工具的安装(三)

  • 目录
    • 一、准备的资源:
    • 二、安装配置过程

目录

本章就说下各种软件的安装和配置。

一、准备的资源:

1、tomcat(如用于在网页上查看HDFS的存储等)
地址:http://pan.baidu.com/s/1miC93ny
密码:52dd
2、jdk
地址:http://pan.baidu.com/s/1mhVWiM0
密码:fmn1
3、Hadoop(最好用centos6.5系统,否则配置时会出现各种BUG)
地址:http://pan.baidu.com/s/1qXXPUdm
密码:5zqe

二、安装配置过程

在安装这些软件之前,再介绍个比较好用的软件给大家
SecureCRT7.3.3 x64(SSH工具):http://pan.baidu.com/s/1gfzm7Fd
密码:5zy0
先说下这个软件,这个软件是安装在windows环境下,用于在Windows环境下通过SSH协议来控制Linux系统。
简单介绍下使用的过程:
打开软件按照下图进行操作
这里写图片描述

按照以上操作完毕后,你就可以在右边的命令行下来控制Linux,该软件支持命令行的命令粘贴等功能,详细的使可以自行百度。
接下来介绍各个软件的安装:

1、安装JDK

1.上传jdk-7u45-linux-x64.tar.gz到Linux上
2.解压jdk到/usr/local目录
tar -zxvf jdk-7u45-linux-x64.tar.gz -C /usr/local/
3.设置环境变量,在/etc/profile文件最后追加相关内容
vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.7.0_45
export PATH=PATH:PATH:JAVA_HOME/bin
4.刷新环境变量
source /etc/profile
5.测试java命令是否可用
java -version

2、安装Tomcat

1.上传apache-tomcat-7.0.68.tar.gz到Linux上
2.解压tomcat
tar -zxvf apache-tomcat-7.0.68.tar.gz -C /usr/local/
3.启动tomcat
/usr/local/apache-tomcat-7.0.68/bin/startup.sh
./startup.sh
4.查看tomcat进程是否启动
jps
5.查看tomcat进程端口
netstat -anpt | grep 2465
6.通过浏览器访问tomcat
http://192.168.0.101:8080/
这里写图片描述

3、安装hadoop

先上传hadoop的安装包到服务器上去/home/hadoop/
注意:hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
伪分布式需要修改5个配置文件

3.1配置hadoop第一个:hadoop-env.sh
vim hadoop-env.sh
#第27行
export JAVA_HOME=/usr/java/jdk1.7.0_65
    第二个:core-site.xml<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 --><property><name>fs.defaultFS</name><value>hdfs://weekend-1206-01:9000</value></property><!-- 指定hadoop运行时产生文件的存储目录 --><property><name>hadoop.tmp.dir</name><value>/home/hadoop/hadoop-2.4.1/tmp</value></property>第三个:hdfs-site.xml   <!-- 指定HDFS副本的数量 --><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.secondary.http.address</name><value>192.168.1.152:50090</value></property>第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)mv mapred-site.xml.template mapred-site.xmlvim mapred-site.xml<!-- 指定mr运行在yarn上 --><property><name>mapreduce.framework.name</name><value>yarn</value></property>第五个:yarn-site.xml<!-- 指定YARN的老大(ResourceManager)的地址 --><property><name>yarn.resourcemanager.hostname</name><value>weekend-1206-01</value></property><!-- reducer获取数据的方式 --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>3.2将hadoop添加到环境变量vim /etc/proflieexport JAVA_HOME=/usr/java/jdk1.7.0_65export HADOOP_HOME=/itcast/hadoop-2.4.1export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource /etc/profile3.3格式化namenode(是对namenode进行初始化)hdfs namenode -format (hadoop namenode -format)3.4启动hadoop先启动HDFSsbin/start-dfs.sh再启动YARNsbin/start-yarn.sh3.5验证是否启动成功使用jps命令验证27408 NameNode28218 Jps27643 SecondaryNameNode28066 NodeManager27803 ResourceManager27512 DataNodehttp://192.168.1.101:50070 (HDFS管理界面)http://192.168.1.101:8088 (MR管理界面)

这里写图片描述

在下面的章节中会介绍下HDFS的原理和基本操作等知识

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/456806.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

pycharm 快捷键大全

1、编辑&#xff08;Editing&#xff09; Ctrl Space 基本的代码完成&#xff08;类、方法、属性&#xff09; Ctrl Alt Space 快速导入任意类 Ctrl Shift Enter 语句完成 Ctrl P 参数信息&#xff08;在方法中调用参数&#xff09; Ctrl Q 快速查看文档 F1 Web帮…

转载 Spark性能优化指南——基础篇

前言 在大数据计算领域&#xff0c;Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作&#xff0c;应用范围与前景非常广泛。在美团•大众点评&#xff…

JavaScript 判断变量是否为数组Array的方法

1. 不能用typeof &#xff0c;因为typeof 只能判断基本类型&#xff0c;不能判断引用类型 var ary [1,23,4];console.log(typeof ary); //输出结果是Object上面的办法并不能实时的检测出是否是数组&#xff0c;只能判断其类型&#xff0c;所以说typeof判断基本类型数据还是挺好…

require.js用法简介

一、为什么要用require.js&#xff1f; 最早的时候&#xff0c;所有Javascript代码都写在一个文件里面&#xff0c;只要加载这一个文件就够了。后来&#xff0c;代码越来越多&#xff0c;一个文件不够了&#xff0c;必须分成多个文件&#xff0c;依次加载。下面的网页代码&…

Pycharm新建文件时自动添加基础信息

# -*- coding: utf-8 -*- # Time : ${DATE} ${TIME} # Author : Liu # File : ${NAME}.py 如下图所示 再建一个py文件时就会自动添加信息&#xff1a; # -*- coding: utf-8 -*- # Time : 2019/05/05 11:46 # Author : Liu # File : DOUBAN.py

JTLParser-linux上jmeter的jtl文件二次分析

解析JMeter的JTL文件 2013年01月30日 ⁄ 综合 ⁄ 共 1452字 ⁄ 字号 小 中 大 ⁄ 评论关闭http://code.google.com/p/xtoolkit/wiki/JTLParser Introduction 当把JMeter使用命令行运行后&#xff0c;JMeter会把结果保存到一个指定文件中&#xff08;使用 -l 参数指定&#xff0…

php过滤html标签截取部分内容

<?php$str <span>fdsfsdf</span><a href"#">href</a>; echo htmlspecialchars($str).<Br>; echo strip_tags($str);?>用strip_tags能把Html标签都去掉&#xff0c;然后调用truncate函数 $array[$row[content_id]][content_ti…

解决python3 UnicodeEncodeError: 'gbk' codec can't encode character '\xXX' in position XX

从网上抓了一些字节流&#xff0c;想打印出来结果发生了一下错误&#xff1a; UnicodeEncodeError: gbk codec cant encode character \xbb in position 8530: illegal multibyte sequence 代码 import urllib.request resurllib.request.urlopen(http://www.baidu.com) ht…

Linux中的crontab详解

linux系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作&#xff0c;因此这个系统服务是默认启动的。另外, 由于使用者自己也可以设置计划任务&#xff0c;所以&#xff0c; Linux 系统也提供了使用者控制计划任务的命令 :crontab 命令…

centos7如何安装cloud-init

cloud-init rpm包下载地址&#xff1a;https://pkgs.org/download/cloud-init http://www.rpmfind.net/linux/RPM/index.html 转载于:https://www.cnblogs.com/double12gzh/p/10166131.html

实现一个简单的前端水印

需求分析 水印效果如下&#xff1a; 除了直观需求&#xff0c;还有非直观需求。 这是个背景图。文字样式以及文字本身可调整。对于需求1&#xff0c;需要前端生成图片的能力。 该能力的原理&#xff1a;借用canvas.toDataURL()或者(new XMLSerializer()).serializeToString()生…

QQ客服聊天功能网页跳转只需要几行代码

<html><head><meta charset"utf-8"></head><body><a target"_blank" href"http://wpa.qq.com/msgrd?v3&uin客服QQ号&siteqq&menuyes"><img border"0" src"http://wpa.qq.co…

HDU 2234 IDA*

无题I Time Limit: 10000/10000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others)Total Submission(s): 1648 Accepted Submission(s): 640 Problem Description一天机器人小A在玩一个简单的智力游戏&#xff0c;这个游戏是这样的&#xff0c;在一个4*4的矩阵…

Linux环境下Mysql的安装教程及安装过程常见问题的解决方法

最近安装mysql时看到一篇不错的文章 1、下载 下载地址&#xff1a;http://dev.mysql.com/downloads/mysql/5.6.html#downloads 下载版本&#xff1a;我这里选择的5.6.33&#xff0c;通用版&#xff0c;linux下64位 也可以直接复制64位的下载地址&#xff0c;通过命令下载&a…

最全的微信小程序源代码

wx-gesture-lock 微信小程序的手势密码 WXCustomSwitch 微信小程序自定义 Switch 组件模板 WeixinAppBdNovel 微信小程序demo&#xff1a;百度小说搜索 shitoujiandaobu 小程序&#xff1a;石头剪刀布&#xff08;附代码说明&#xff09; audiodemo 微信小程序开发之视频播…

java 双重检查加锁弊端

http://blog.csdn.net/axman/article/details/1089196 Java是在语言级提供对线程的支持,所以Java的内存模型分为主存储器和工作存储器. [Main memory]主存储器就是实例所在的存储区域,所有实例本身都被放在主存储器中,当然这 句话本身就说明了实例的字段也在主存储器中,主存储器…

爬虫的复习手册

爬虫的概念 模拟浏览器发送请求&#xff0c;获取响应 爬虫的流程 url---》发送请求&#xff0c;获取响应---》提取数据---》保存 发送请求&#xff0c;获取响应---》提取url&#xff08;下一页&#xff0c;详情页&#xff09;重新请求 爬虫要根据当前url地址对应的响应为准 …

Hive安装报错:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient的解决办法

最近练习Hive&#xff0c;安装时爆出如下错误&#xff1a;Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient的错误 报错的日志如下&#xff1a; Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeE…

要读

http://www.cnblogs.com/yangml/p/3828878.html转载于:https://www.cnblogs.com/qinqiu/p/6134683.html

Spark分布式集群的搭建和运行

集群共三台CentOS虚拟机&#xff0c;一个Matser&#xff0c;主机名为master&#xff1b;三个Worker&#xff0c;主机名分别为master、slave03、slave04。前提是Hadoop和Zookeeper已经安装并且开始运行。 1. 在master上下载Scala-2.11.0.tgz&#xff0c;复制到/opt/下面&#xf…