Spark- Linux下安装Spark

 Spark- Linux下安装Spark

前期部署

1.JDK安装,配置PATH

可以参考之前配置hadoop等配置

2.下载spark-1.6.1-bin-hadoop2.6.tgz,并上传到服务器解压

[root@srv01 ~]# tar -xvzf  spark-1.6.1-hadoop2.6.tgz /usr/spark-1.6.1-hadoop2.6

3.在 /usr 下创建软链接到目标文件夹

[root@srv01 usr]# ln -s spark-1.6.1-bin-hadoop2.6   spark

4.修改配置文件,目标目录 /usr/spark/conf/ 

[root@srv01 conf]# ls
docker.properties.template  log4j.properties.template    slaves.template               spark-env.sh.template
fairscheduler.xml.template  metrics.properties.template  spark-defaults.conf.template
这里需要把spark-env.sh.template改名为spark-env.sh
export JAVA_HOME=/usr/jdk
#这个是单机版的配置,不能实现高可用
export SPARK_MASTER_IP=srv01
export SPARK_MASTER_PORT=7077

再配置slaves ,都是我的集群的机器的hostname

srv01
srv02
srv03

5.分发到集群各个机器上,再软链接一下,保持集群一致性,参考step-3

[root@srv01 usr]# scp -r spark-1.6.1-bin-hadoop2.6  srv02:/usr
[root@srv01 usr]# scp -r spark-1.6.1-bin-hadoop2.6  srv03:/usr

6.Spark-sell

配置好,启动spark-shell,注意记得先关闭防火墙(也可以将spark写进PATH中)

输入 sc ,如果显示下面的,表示安装正常

scala> sc
res0: org.apache.spark.SparkContext = org.apache.spark.SparkContext@18811c42

7.测试单词计算案例

scala> sc.textFile("/root/file.log").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect.toBuffer
res7: scala.collection.mutable.Buffer[(String, Int)]
= ArrayBuffer((scala,2), (spark,2), (hive,1), (hadoop,2), (mapreduce,1), (zookeeper,1), (hello,1), (redis,1), (world,1))

 8.启动Spark集群模式(前提是3台机器的spark配置一样,配置文件spark-env.sh和slaves文件保持一致)

进入Spark的sbin目录下启动
./start-all.sh

这个脚本文件在sbin目录

通过Jps查看角色

[root@srv01 conf]# jps

13079 Master

13148 Worker  //这个worker的启动通过配置文件slaves

13234 Jps

下面是我的slaves的配置文件

srv01
srv02
srv03

slaves配置的决定了在哪几台机器上启动worker

下面的配置文件决定了在哪台机器上启动Master

启动Spark集群(如果有使用hdfs的场景,需要把hadoop的conf目录下的core-site.xml和dhfs-site.xml拷贝到spark的conf目录下,才能使用高可用的hdfs url)

 

 

然后在通过网页查看spark的相关信息:

http://192.168.1.88:8080/

执行第一个Spark程序

指定运行程序的主机名(Master)

 

./spark-submit --class org.apache.spark.examples.SparkPi --master spark://srv01:7077  --executor-memory 1G --total-executor-cores 2 /usr/spark-1.6.1-bin-hadoop2.6/lib/spark-examples-1.6.1-hadoop2.6.0.jar 500

 

 

 

 

IDEA上面编码使用集群上的spark运行程序

package com.rz.spark.baseimport org.apache.log4j.{Level, Logger}
import org.apache.spark.{SparkConf, SparkContext}object transactionApp {def main(args: Array[String]): Unit = {Logger.getLogger("org.apache.spark").setLevel(Level.OFF)val conf = new SparkConf().setAppName(this.getClass.getSimpleName).setMaster("spark://hdp:7077")val sc = new SparkContext(conf)val rdd1 = sc.parallelize(Array(1,2,3,4,5,6,7,8,9))println(rdd1.partitions.length)sc.stop()}
}

  

 

转载于:https://www.cnblogs.com/RzCong/p/7447638.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/257627.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux Apache 怎么修改工作模式

Apache默认为prefork模式,主要是考虑到稳定性的原因。  要切换到worker模式,则需要登录到linux上,进行如下操作:  进入/usr/sbin目录  cd /usr/sbin  将当前的prefork模式启动文件改名  mv httpd httpd.prefork  将wo…

python需要背的英语单词怎么写_学Python必须背的42个常见单词,看看你都会吗?...

这42个单词是学习Python必须背会的单词,也是代码中常见的单词。希望你能都背下来!!1. adult [ˈdʌlt] 成年人2. authentication [ɔːˌθentɪˈkeɪʃn] 身份验证、认证、鉴定3. bit [bɪt] 稍微、小量、小块、一点4. byte [baɪt] …

viewDidLoad、viewWillAppear、viewWillDisappear

- (instancetype)initWithNibName:(NSString *)nibNameOrNil bundle:(NSBundle *)nibBundleOrNil viewDidLoad viewWillAppear viewWillDisapppear《iOS编程》P137关于视图的初始化代码不能写在视图控制器的初始化(1),原因如下:为…

asp.net mvc4开启SqlServer 会话共享模式

2019独角兽企业重金招聘Python工程师标准>>> 应用部署结构(精简): 站点部署在Nginx后面,以Nginx作为反向代理,不希望在Nginx上设置ip_hash,实现比较真实的负载均衡效果。 这时考虑到需要让site1和site2同时…

SpringMVC中,前台jsp封装参数,绑定参数,传递参数到后台controller的过程详解

前台到后台的流程:前台jsp->后台:controller控制器层->service业务层->DAO数据访问层->数据库model模型层。 从上面流程可知,前台jsp的数据,想要参与到后台的业务逻辑运算,关键是要先把前台jsp的数据传递到后台的cont…

包含min函数的栈 python_面试题_设计包含 min函数的栈

设计包含 min函数的栈()定义栈的数据结构,要求添加一个 minminmin函数,能够得到栈的最小元素。要求函数 min、push以及 pop 的时间复杂度都是 O(1)。#include using namespace std;/*by hk 2015-7-1*/#define MAX ((~(unsigned int )0)-1)/2class stack{…

【转】(五)unity4.6Ugui中文教程文档-------概要-UGUI Interaction Components

原创至上,移步请戳:(五)unity4.6Ugui中文教程文档-------概要-UGUI Interaction Components 4、Interaction Components 本节涵盖了处理交互,例如鼠标或触摸事件和使用键盘或控制器交互的 UI系统中的组件。 4.1 Select…

j2ee 简单网站搭建:(十)jquery ztree 插件使用入门

为什么80%的码农都做不了架构师?>>> 《j2ee 简单网站搭建:(一) windows 操作系统下使用 eclipse 建立 maven web 项目》《j2ee 简单网站搭建:(二)添加和配置 spring spring-mvc 的…

实习报告

实习时间:2016/2/18-2016/2/24 实习地点:陕西省米脂县公安局网络警察大队     实习报告: 如今的社会,网络高度发展,一些人随着时代的潮流利用网络发家致富,而有些人利用网络监管的一些漏洞,…

java utf 8 转unicode_java 在Unicode和UTF-8之间转换

/*** utf-8 转换成 unicode* author fanhui* 2007-3-15* param inStr* return*/public static String utf8ToUnicode(String inStr) {char[] myBuffer inStr.toCharArray();StringBuffer sb new StringBuffer();for (int i 0; i < inStr.length(); i) {UnicodeBlock ub …

Android成长日记-使用GridView显示多行数据

本节将实现以下效果 Ps&#xff1a;看起来很不错的样子吧&#xff0c;而且很像九宫格/se ----------------------------------------------------------------------- 下面进入正题[s1] &#xff1a; Step 1&#xff1a;新建Layout&#xff0c;里面创建GridView <GridView a…

夺命雷公狗---微信开发39----微信语言识别接口1

语音识别接口的基本介绍 注意&#xff1a; 由于客户端缓存&#xff0c;开发者开启或者关闭语音识别功能&#xff0c;对新关注者立即生效&#xff0c;对已关注用户需要24小时生效&#xff0c;开发者可以从新关注帐号进行测试。 我们可以在测试号下方的体验接口权限表里面找到“接…

Codeforces 803E--Roma and Poker (DP)

原题链接&#xff1a;http://codeforces.com/problemset/problem/803/E 题意&#xff1a;给一个n长度的字符串&#xff0c;其中?可以替换成D、W、L中的任意一种&#xff0c;D等价于0, W等价于1、L等价于-1。输出所有?被替换掉后&#xff0c;W和L的数目之差为k&#xff0c;且任…

java构造块_java中的静态代码块、构造代码块、构造方法详解

运行下面这段代码&#xff0c;观察其结果&#xff1a;package com.test;public class HelloB extends HelloA {public HelloB() {}{System.out.println("Im B class");}static {System.out.println("static B");}public static void main(String[] args) {…

推荐一个不错的 Chrome 插件,百变皮肤,还可以去广告

今天在这里给大家推荐一个非常棒&#xff0c;非常不错的 Chrome 插件&#xff0c;功能实在是强大又好玩&#xff0c;让你在浏览器中可以如孙悟空一样72变&#xff0c;再不济&#xff0c;如果你不会用&#xff0c;不会自定义写 CSS 样式&#xff0c;也能够做到如猪八戒般 36 变。…

【转】DB2 常用命令

1、 打开命令行窗口   #db2cmd 2、 打开控制中心   # db2cmd db2cc 3、 打开命令编辑器  db2cmd db2ce 操作数据库命令 4、 启动数据库实例   #db2start 5、 停止数据库实例   #db2stop  如果你不能停止数据库由于激活的连接&#xff0c;在运行db2stop前执行db2 force ap…

c#调用R

R.NET使用文档 介绍 本页面涉及R.NET1.5.13。 1.5.13版本在功能上等同于1.5.12&#xff0c;但可作为一个包在NuGet.org上获得。 R.NET使.NET框架与R统计语言在同一进程进行互操作。 R.NET需要.NET Framework 4的并有R环境中安装的本地的DLL。您可以使用R.NET用在.NET的任何语言…

java applet 文本框_Java Applet 文本框 TextField 小例 | 学步园

一个Java Applet程序中必须有一个类是Applet类的子类&#xff0c;成为该子类是Java Applet的主类&#xff0c; 并且必须是public class。 Applet类是包java.applet中的一个类&#xff0c; 同时它还是包java.awt中Container(容器)类的子类。因此Java Applet的主类的实例是一个容…

python界面工具pyqt基础教程

这里有一份很详细的中文翻译供我们学习pyqt&#xff0c;很适合初学者和中级学者&#xff0c;直接丢传送门&#xff0c;不多说 http://www.qaulau.com/books/PyQt4_Tutorial/introduction.html转载于:https://www.cnblogs.com/semishigure/p/7451689.html

博客园客户端(睡睡版iphone)源码

1.关于 https://itunes.apple.com/us/app/shui-shui-bo-ke-yuan/id512394144?ls1&mt8 项目目前为V3.0版&#xff0c;也是我开发的最新版&#xff0c;目前已无法在appstore下载&#xff0c;项目介绍&#xff1a;http://www.cnblogs.com/bandy/p/3509482.html 2.现状 目前本…