Spark集群安装

Spark是独立的,所以集群安装的时候,不像hive,hbase等需要先安装hadoop,除非文件保存在hadoop上,才需要安装hadoop集群。

如果虚拟机安装,点击阅读推荐配置

前提环境:

1、安装了JDK1.7及以上版本的Linux机器

2、各台机器间SSH免密码登录已配置。

3、各台Linux防火墙已关闭,时间已同步。


SSH配置教程

时间同步教程


步骤:

1、下载spark安装包

2、解压

3、修改spark-env.sh

4、修改 slaves

5、scp -r  到其他节点

6、start-all.sh 启动

7、浏览器查看


每步详情

1、下载spark安装包

http://spark.apache.org/downloads.html

选择的版本的时候注意安装的hadoop版本,选择相应的版本


2、解压


3、修改spark-env.sh

在后面加入

export JAVA_HOME=/jdk1.8.0_73
export SPARK_MASTER_HOST=nbdo1
export SPARK_MASTER_PORT=7077


如果安装了hadoop,可以配置下

export HADOOP_CONF_DIR=/home/hadoop/hadoop/etc/hadoop


export SPARK_WORKER_CORES=3     //每个Worker使用的CPU核数
export SPARK_WORKER_INSTANCES=2   //每个Slave中启动几个Worker实例
export SPARK_WORKER_MEMORY=1G    //每个Worker使用多大的内存
export SPARK_WORKER_WEBUI_PORT=8081 //Worker的WebUI端口号
export SPARK_EXECUTOR_CORES=1       //每个Executor使用使用的核数
export SPARK_EXECUTOR_MEMORY=1G     //每个Executor使用的内存

每台服务器上,启动2个worker实例,每个worker用3个cpu核心,1GB内存

worker实例数:机器数*每台机器上的worker实例数    





4、修改 slaves

nbdo2

nbdo3

(我有三台测试机,nbdo1,nbdo2,nbdo3。

nbdo1作为了master了)


5、scp -r  到其他节点


6、start-all.sh 启动

在master节点上,进入spark安装目录的sbin下

[hadoop@nbdo1 sbin]$ ./start-all.sh 

(不要直接输入 start-all.sh,hadoop启动脚本也是start-all.sh)


7、浏览器查看

ip地址或域名:8080端口访问

http://nbdo1:8080/






本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/538594.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

列表逆序排序_【Python自学笔记】集合——列表

list列表类型是一个与元组tuple类似的有序序列。构造函数是list()切片# 切片 fruit ["Apple", "Hawthorn", "Loquat", "Medlar", "Pear", "Quince"] print(fruit[:2]) print(fruit[-1])语法与字符串和元组中的一…

esp8266 阿里云 arduino_NUCLEO-G071RB通过WiFi与NB连接阿里云

开箱体验试用背景去年年初,有新项目要让移动式容器设备的监控数据上云,选型时主要考虑三个系列STM32L0、STM32G0和STM8。最初有意向选用STM32L052RB,主要是为了满足低功耗需求。恰逢G0系列上市,价格亲民,性能却要高很多…

“云上金融,智创未来” 腾讯“云+未来”峰会金融专场在广州举行

5月24日,腾讯“云未来“峰会金融专场在广州举行。来自央行、腾讯公司以及银行、证券、保险、互金公司等腾讯金融云的合作伙伴代表以及行业专家,共同分享了智慧金融、企业数字化转型、腾讯金融云业务布局以及与合作伙伴取得的最新成绩等话题。活动现场&am…

Spark算子reduceByKey深度解析

原文地址:http://blog.csdn.net/qq_23660243/article/details/51435257 -------------------------------------------- 最近经常使用到reduceByKey这个算子,懵逼的时间占据多数,所以沉下心来翻墙上国外的帖子仔细过了一遍,发现一…

绕固定轴分解_3轴 / 5轴 / 3+2到底是什么......??

一、 什么是32定位加工在一个三轴铣削程序执行时,使用五轴机床的两个旋转轴将切削刀具固定在一个倾斜的位置,32加工技术的名字也由此而来,这也叫做定位五轴机床,因为第四个轴和第五个轴是用来确定在固定位置上刀具的方向&#xff…

unix环境高级编程 pdf_UNIX环境高级编程——记录锁

引言在多进程环境下,多个进程同时读写一个文件,如果不进行同步,就可能导致不期待的结果,如后一个进程覆盖了前一个进程写的内容。Unix为此提供了一种强大的解决办法:记录锁记录锁记录锁本质上就是对文件加读写锁&#…

LNMP源码安装脚本

LNMP安装脚本,脚本环境 #LNMP环境搭建centos6.8 2.6.32-696.28.1.el6.x86_64 nginx:1.12.2 mysql:5.6.36 PHP:5.5.36 #!/bin/bash#LNMP环境搭建centos6.8 2.6.32-696.28.1.el6.x86_64 nginx:1.12.2 mysql:5.6.36 PHP:5.5.36trap echo "error line: $LINE…

启动spark shell

spark集群安装教程:http://blog.csdn.net/zengmingen/article/details/72123717 启动spark shell. 在spark安装目录bin文件夹下 ./spark-shell --master spark://nbdo1:7077 --executor-memory 2g --total-executor-cores 2 参数说明: --master spark…

python发送excel文件_Python操作Excel, 开发和调用接口,发送邮件

接口开发: importflaskimporttoolsimportjson,redisimportrandom server flask.Flask(__name__)#新建一个服务,把当前这个python文件当做一个服务 ip 118.24.3.40passwordHK139bc&*r redis.Redis(hostip,passwordpassword,port6379,db10, decode_res…

第一个Spark实例:求PI值

向spark提交jar&#xff0c;需要使用 bin下的spark-submit [hadoopnbdo1 bin]$ ./spark-submit --help Usage: spark-submit [options] <app jar | python file> [app arguments] Usage: spark-submit --kill [submission ID] --master [spark://...] Usage: spark-submi…

go conn 读取byte数组后是否要_【技术推荐】正向角度看Go逆向

Go语言具有开发效率高&#xff0c;运行速度快&#xff0c;跨平台等优点&#xff0c;因此正越来越多的被攻击者所使用&#xff0c;其生成的是可直接运行的二进制文件&#xff0c;因此对它的分析类似于普通C语言可执行文件分析&#xff0c;但是又有所不同&#xff0c;本文将会使用…

Confluence 6 选择一个外部数据库

2019独角兽企业重金招聘Python工程师标准>>> 注意&#xff1a; 选择一个合适的数据库通常需要花费很多时间。同时 Confluence 自带的 XML 数据备份和恢复功能通常也不适合合并和备份有大量数据的数据库。如果你想在系统运行后进行数据合并&#xff0c;你通常需要使用…

spark中saveAsTextFile如何最终生成一个文件

原文地址&#xff1a;http://www.cnblogs.com/029zz010buct/p/4685173.html ----------------------------------------------------------------------- 一般而言&#xff0c;saveAsTextFile会按照执行task的多少生成多少个文件&#xff0c;比如part-00000一直到part-0000n&…

python爬取内容乱码_python爬取html中文乱码

环境&#xff1a; python3.6 爬取代码&#xff1a; import requests url https://www.dygod.net/html/tv/hytv/ req requests.get(url) print(req.text) 爬取结果&#xff1a; / _-如上&#xff0c;title内容出现乱码&#xff0c;自己感觉应该是编码的问题&#xff0c;但是不…

前端每日实战:34# 视频演示如何用纯 CSS 创作在文本前后穿梭的边框

效果预览 按下右侧的“点击预览”按钮可以在当前页面预览&#xff0c;点击链接可以全屏预览。 https://codepen.io/comehope/pen/qYepNv 可交互视频教程 此视频是可以交互的&#xff0c;你可以随时暂停视频&#xff0c;编辑视频中的代码。 请用 chrome, safari, edge 打开观看。…

not support mysql_MYSQL出现quot; Client does not support authentication quot;的解决方法

MYSQL 帮助&#xff1a;A.2.3 Client does not support authentication protocolMySQL 4.1 and up uses an authentication protocol based on a password hashing algorithm that is incompatible with that used by older clients. If you upgrade the server to 4.1, attemp…

spark shell中编写WordCount程序

启动hdfs 略http://blog.csdn.net/zengmingen/article/details/53006541 启动spark 略安装&#xff1a;http://blog.csdn.net/zengmingen/article/details/72123717 spark-shell&#xff1a;http://blog.csdn.net/zengmingen/article/details/72162821准备数据 vi wordcount.t…

初级英语02

做客 1 Diana,i havent seen you for ages,how have you been? 2 would you like something to drink? 3 give my best to your parents. 4 did you hear what happened?whats the matter with him? 5 id like to applogize for leaving so early,i brought a little gift,…

mysql计算机二级选择题题库_全国计算机二级mysql数据库选择题及答案

全国计算机二级mysql数据库选择题及答案选择题是全国计算机二级mysql考试里的送分题&#xff0c;下面小编为大家带来了全国计算机二级mysql数据库选择题及答案&#xff0c;欢迎大家阅读&#xff01;全国计算机二级mysql数据库选择题及答案1) 函数 max( ) 表明这是一个什么函数?…

git add 撤销_更科学地管理你的项目,Git 简明教程(二)

修改文件内容上回说到&#xff0c;我们已经成功创建并提交了一个 README.md 文件到 FirstGit 版本库中1、修改文件现在我们更改 README.md 内容2、查看版本库状态该文件夹内右键运行 Git Bash Here执行命令 git statusGit 提示我们的改动还没有 commit&#xff0c;并且它给出了…