Spark简介

文章目录

    • 一、简介
    • 二、安装
      • 1、简介
      • 2、本地部署(Local模式)
        • 2.1 安装
        • 2.2 官方WordCount实例
      • 3、Standlong模式
        • 3.1 简介
        • 2.2 安装集群
        • 2.3 官方测试案例
      • 4、Yarn模式
        • 3.1 安装
        • 3.2 配置历史服务器
        • 3.3 配置查看历史日志
      • 5、Mesos模式
      • 6、几种模式对比
      • 7、常用端口
    • 三、Yarn模式详解
      • 1、简介
      • 2、Client模式
      • 3、Cluster模式


一、简介

1)官网地址:http://spark.apache.org/

2)文档查看地址:https://spark.apache.org/docs/3.1.3/

3)下载地址:https://spark.apache.org/downloads.html

https://archive.apache.org/dist/spark/

二、安装

1、简介

部署Spark集群大体上分为两种模式:单机模式与集群模式
大多数分布式框架都支持单机模式,方便开发者调试框架的运行环境。但是在生产环境中,并不会使用单机模式。因此,后续直接按照集群模式部署Spark集群。
下面详细列举了Spark目前支持的部署模式。

  • Local模式:在本地部署单个Spark服务
  • Standalone模式:Spark自带的任务调度模式。(国内常用)
  • YARN模式:Spark使用Hadoop的YARN组件进行资源与任务调度。(国内最常用)
  • Mesos模式:Spark使用Mesos平台进行资源与任务的调度。(国内很少用)

2、本地部署(Local模式)

2.1 安装

Local模式就是运行在一台计算机上的模式,通常就是用于在本机上练手和测试。

wget https://gitcode.net/weixin_44624117/software/-/raw/master/software/Linux/Spark/spark-3.4.1-bin-hadoop3.tgz

创建文件夹

mkdir /opt/module

解压文件

tar -zxvf spark-3.4.1-bin-hadoop3.tgz -C /opt/module/

更改文件名

mv /opt/module/spark-3.4.1-bin-hadoop3/ /opt/module/spark-local

官方求PI案例

cd /opt/module/spark-localbin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.12-3.4.1.jar \
10

参数解析:

  • --class:表示要执行程序的主类;
  • --master local[2]

​ (1)local: 没有指定线程数,则所有计算都运行在一个线程当中,没有任何并行计算

​ (2)local[K]:指定使用K个Core来运行计算,比如local[2]就是运行2个Core来执行。

​ (3)local[*]:默认模式。自动帮你按照CPU最多核来设置线程数。比如CPU有8核,Spark帮你自动设置8个线程计算。

  • spark-examples_2.12-3.1.3.jar:要运行的程序;
  • 10:要运行程序的输入参数(计算圆周率π的次数,计算次数越多,准确率越高);

该算法是利用蒙特·卡罗算法求PI

在这里插入图片描述

2.2 官方WordCount实例

在这里插入图片描述

准备数据

mkdir input

输入以下内容

hello atguigu
hello spark

启动Spark-shell

bin/spark-shell

执行任务

scala> sc.textFile("/opt/module/spark-local/input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
res6: Array[(String, Int)] = Array((hello,2), (atguigu,1), (spark,1))

在这里插入图片描述

查看执行结果:

连接窗口,发现了一个SparkSubmit进程

在这里插入图片描述

spark-shell窗口关闭掉,则hadoop102:4040页面关闭。

在这里插入图片描述

3、Standlong模式

3.1 简介

Standalone模式是Spark自带的资源调度引擎,构建一个由Master + Worker构成的Spark集群,Spark运行在集群中。

这个要和Hadoop中的Standalone区别开来。这里的Standalone是指只用Spark来搭建一个集群,不需要借助Hadoop的Yarn和Mesos等其他框架。

Master和Worker是Spark的守护进程、集群资源管理者,即Spark在特定模式(Standalone)下正常运行必须要有的后台常驻进程。

在这里插入图片描述

  • Driver和Executor是临时程序,当有具体任务提交到Spark集群才会开启的程序。Standalone模式是Spark自带的资源调度引擎,构建一个由Master + Worker构成的Spark集群,Spark运行在集群中。
  • 这个要和Hadoop中的Standalone区别开来。这里的Standalone是指只用Spark来搭建一个集群,不需要借助Hadoop的Yarn和Mesos等其他框架。

在这里插入图片描述

2.2 安装集群
Hadoop101Hadoop102Hadoop103
SparkMasterWorkerWorkerWorker

解压文件

tar -zxvf spark-3.4.1-bin-hadoop3.tgz -C /opt/module/

重命名文件夹

mv /opt/module/spark-3.4.1-bin-hadoop3 /opt/module/spark-standalone

添加Worker节点

cd /opt/module/spark-standalone/conf/
vim slaves
hadoop101
hadoop102
hadoop103

添加Master节点

mv spark-env.sh.template spark-env.sh
vim spark-env.sh
SPARK_MASTER_HOST=hadoop101
SPARK_MASTER_PORT=7077

在这里插入图片描述

cd /opt/module/spark-standalone
sbin/start-all.sh

在这里插入图片描述

查看页面:http://hadoop101:8080

  • 8080:master的webUI

  • 4040:application的webUI的端口号

在这里插入图片描述

2.3 官方测试案例
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop101:7077 \
./examples/jars/spark-examples_2.12-3.4.1.jar \
10

执行结果:

在这里插入图片描述

在这里插入图片描述

8080:master的webUI

4040:application的webUI的端口号

在这里插入图片描述

执行参数

./bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master spark://hadoop102:7077 \--executor-memory 2G \--total-executor-cores 2 \./examples/jars/spark-examples_2.12-3.4.1.jar \
10

参数解析

  • --executor-memory:可用内存为2G。
  • --total-executor-cores:使用CPU核数为2个。

在这里插入图片描述

参数解释可选值举例
–classSpark程序中包含主函数的类
–masterSpark程序运行的模式本地模式:local[*]、spark://hadoop102:7077、Yarn
–executor-memory 1G指定每个executor可用内存为1G符合集群内存配置即可,具体情况具体分析。
–total-executor-cores 2指定所有executor使用的cpu核数为2个
application-jar打包好的应用jar,包含依赖。这个URL在集群中全局可见。 比如hdfs:// 共享存储系统,如果是file:// path,那么所有的节点的path都包含同样的jar
application-arguments传给main()方法的参数

4、Yarn模式

  • Spark客户端直接连接Yarn,不需要额外构建Spark集群。
  • 一台能提交Yarn的服务器即可
3.1 安装

获取文件

wget https://gitcode.net/weixin_44624117/software/-/raw/master/software/Linux/Spark/spark-3.4.1-bin-hadoop3.tgz

加压安装包

tar -zxvf spark-3.4.1-bin-hadoop3.tgz -C /opt/module/

修改目录名称

mv /opt/module/spark-3.4.1-bin-hadoop3 /opt/module/spark-yarn

修改启动文件

mv /opt/module/spark-yarn/conf/spark-env.sh.template /opt/module/spark-yarn/conf/spark-env.sh

添加配置文件

vim /opt/module/spark-yarn/conf/spark-env.sh
#	增加配置内容(Yarn配置文件地址)
YARN_CONF_DIR=/opt/module/hadoop-3.1.3/etc/hadoop

提交任务

参数:--master yarn:表示Yarn方式运行;–deploy-mode表示客户端方式运行程序

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.4.1.jar \
10

在这里插入图片描述

3.2 配置历史服务器

移动配置文件

mv /opt/module/spark-yarn/conf/spark-defaults.conf.template /opt/module/spark-yarn/conf/spark-defaults.conf

修改配置文件

cd /opt/module/spark-yarn/conf
vim spark-defaults.conf
spark.eventLog.enabled        true
spark.eventLog.dir            hdfs://hadoop101:8020/directory

在这里插入图片描述

修改配置文件spark-env.sh

vim spark-env.sh
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://hadoop101:8020/directory 
-Dspark.history.retainedApplications=30"

配置文件解析:

  • Dspark.history.ui.port=18080 :WEBUI访问的端口号为18080
  • -Dspark.history.fs.logDirectory:指定历史服务器日志存储路径(读)
  • -Dspark.history.retainedApplications:指定保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,这个是内存中的应用数,而不是页面上显示的应用数。

:wq:

3.3 配置查看历史日志

为了能从Yarn上关联到Spark历史服务器,需要配置spark历史服务器关联路径。

目的:点击yarn(8088)上spark任务的history按钮,进入的是spark历史服务器(18080),而不再是yarn历史服务器(19888)。

修改配置文件/opt/module/spark-yarn/conf/spark-defaults.conf

vim /opt/module/spark-yarn/conf/spark-defaults.conf
spark.yarn.historyServer.address=hadoop101:18080
spark.history.ui.port=18080

启动历史服务器

cd /opt/module/spark-yarn
sbin/start-history-server.sh 

再次提交任务

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.4.1.jar \
10

页面查看历史任务:http://hadoop102:8088/cluster

在这里插入图片描述

在这里插入图片描述

5、Mesos模式

Spark客户端直接连接Mesos;不需要额外构建Spark集群。国内应用比较少,更多的是运用Yarn调度。

6、几种模式对比

模式Spark安装机器数需启动的进程所属者
Local1Spark
Standalone3Master及WorkerSpark
Yarn1Yarn及HDFSHadoop

7、常用端口

  • 4040:Spark查看当前Spark-shell运行任务情况端口号:4040
  • 7077:Spark Master内部通信服务端口号:7077 (类比于yarn的8032(RM和NM的内部通信)端口)
  • 8080:Spark Standalone模式Master Web端口号:8080(类比于Hadoop YARN任务运行情况查看端口号:8088) (yarn模式) 8989
  • 18080:Spark历史服务器端口号:18080 (类比于Hadoop历史服务器端口号:19888)

三、Yarn模式详解

1、简介

Spark有yarn-clientyarn-cluster两种模式,主要区别在于:Driver程序的运行节点。

yarn-client:Driver程序运行在客户端,适用于交互、调试,希望立即看到app的输出。

yarn-cluster:Driver程序运行在由ResourceManager启动的APPMaster,适用于生产环境。

2、Client模式

  • client模式启动
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.4.1.jar \
10

在这里插入图片描述

3、Cluster模式

在这里插入图片描述

  • cluster模式启动
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.4.1.jar \
10

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/114301.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

3. 无重复字符的最长子串 --力扣 --JAVA

题目 给定一个字符串 s ,请你找出其中不含有重复字符的 最长子串 的长度。 解题思路 遍历字符串,遇到重复字符计算进行下一个子串的统计;从发生重复的字符第一次出现的位置进行继续循环;输出最长子串的长度。 代码展示 class S…

sql语句数据库查询:如果当前元素已经使用过,下拉框不显示该元素该如何查询?

写宿舍管理系统,做到宿管和楼栋关系时,新增一个宿管,一个宿管管理一栋楼,如果当前楼栋已选择,那么就不能再选,如图所示: 最开始使用的是: SELECT DISTINCT b.building_num,b.TYPE,b…

项目二开笔记-萤火商城https://www.yiovo.com/doc

很久没写过php代码了,二开过程中笔记如下 注意事项 打开APP_DEBUG 关于建表 .在store进行开发,新建表的时候需要加上store_id字段 增加页面 前端页面 增加新的菜单,需要在router.config.js中增加对应的配置增加新的页面,需要…

【Python】图像和办公文档的处理

图像和办公文档处理 用程序来处理图像和办公文档经常出现在实际开发中,Python的标准库中虽然没有直接支持这些操作的模块,但我们可以通过Python生态圈中的第三方模块来完成这些操作。 操作图像 计算机图像相关知识 颜色。如果你有使用颜料画画的经历&…

【计算机毕设选题推荐】口腔助手小程序SpringBoot+Vue+小程序

前言:我是IT源码社,从事计算机开发行业数年,专注Java领域,专业提供程序设计开发、源码分享、技术指导讲解、定制和毕业设计服务 项目名 基于SpringBoot的口腔助手小程序 技术栈 SpringBootVue小程序MySQLMaven 文章目录 一、口腔…

《机器学习分类器 二》——朴素的贝叶斯算法,项目实践,算法实践。

1,朴素贝叶斯算法的介绍 1. 朴素贝叶斯算法定义 朴素贝叶斯算法是基于概率统计的分类方法。它的核心思想是利用贝叶斯定理来估计在给定特征的条件下某个类别的概率,然后选择具有最高概率的类别作为预测结果。在分类问题中,我们通常有一个数据集&#x…

nonaDlA 逻辑分析仪 使用记录

注意事项,很灵敏,不要用手碰,产生误触发 安装软件 github地址 官方提供的淘宝地址与使用说明 1.安装 1.安装程序 :下载githubDLA源码,打开 software\PulseView.exe安装 2.安装驱动:安装完第一步后&a…

操作系统【OS】线程的分类

线程的实现分为两类 用户级线程(User-Level Thread, ULT) 内核级线程(Kernel-Level Thread, KLT) ULT KLT 组合模式 定义 由用户级线程库函数来完成整个线程的管理和调度【库函数负责】 线程对应的TCB放在OS里,线程的管理和调度由OS负责【OS负责】 内核支持…

系统报错“由于找不到vcomp140.dll无法继续执行代码”的解决方案

在我们日常使用电脑的过程中,可能会遇到一些错误提示,其中之一就是“找不到vcomp140.dll”。这个错误可能让许多用户感到困扰,因为它可能影响到我们的电脑使用。那么,vcomp140.dll是什么意思?当我们遇到这个问题时&…

$GNGGA,传感器传输的数据解析

每一秒传输这一帧数据如下: $GNGGA,090022.000,3959.82136,N,11628.16507,E,1,06,3.5,21.4,M,0.0,M,,*4D $GNGLL,3959.82136,N,11628.16507,E,090022.000,A,A*4F $GPGSA,A,3,03,16,26,,,,,,,,,,4.1,3.5,2.1*32 $BDGSA,A,3,07,21,42,,,,,,,,,,4.1,3.5,2.1*21 $GPGSV…

22下半年下午题

声明:哔哩哔哩视频笔记 源地址 第一大题题目 第一大题解答 第一小问 根据0层数据流图来找,看数据流向和相应的处理模块匹配。并且这个第一问,肯定是能在说明中找到对应短语作为答案的。 第二小问 搞清楚具体存储数据的信息名字&#xff…

视频亮度太低了,如何调高

充足、均匀、稳定的光亮对于视频制作是至关重要的,在现实生活中,不可预见的天气变化和拍摄地方的阴暗常常给我们留下暗淡无光的视频片段。 如果你的视频太暗想知道如何使它变亮,且又不知道使用哪个工具,那你无需担心,因…

《低代码指南》——维格云和Airtable的比较

Airtable​ 什么是Airtable​ Airtable 是一个任务管理应用程序,它合并了电子表格、数据存储和模板,以帮助组织构建他们的工作流程。 适用于哪些企业/组织/人群​ 根据 Airtable 网站,该工具被超过 200,000 个组织的团队使用。 维格表与Airtable相比如何​ Airtable作为…

机器学习中参数优化调试方法

1 超参数优化 调参即超参数优化,是指从超参数空间中选择一组合适的超参数,以权衡好模型的偏差(bias)和方差(variance),从而提高模型效果及性能。常用的调参方法有: 人工手动调参 网格/随机搜索(Grid / Random Search) 贝叶斯优…

面试-Redis-缓存雪崩

问:什么是缓存雪崩 ? 答:缓存过期是指设置缓存时都采用了同一过期时间,导致缓存在莫一时刻同时失效,从而请求全部全部打到数据库中,导致数据库压力过大而挂机。 它与缓存击穿的区别是:缓存击穿是一个key…

01、MySQL-------性能优化

目录 一、影响性能的相关因素存储过程: 二、sql优化1>、Mysql系统架构2>、引擎区别: 3>、索引1、什么是索引?联合主键索引理解:索引长度理解:什么是慢查询? 1)、索引理解2)…

Rust 泛型

泛型 Generics泛型详解 使用泛型参数&#xff0c;有一个先决条件&#xff0c;必需在使用前对其进行声明&#xff1a; fn largest<T>(list: &[T]) -> T {该泛型函数的作用是从列表中找出最大的值&#xff0c;其中列表中的元素类型为 T。首先 largest<T> 对…

SpringBoot结合Druid实现SQL监控

1、前言 SpringBoot不用我多介绍了吧&#xff0c;目前后端最流行的框架。后端开发人员最基本的要求。 Druid数据库连接池&#xff0c;出自国内 ”java圣地" 阿里巴巴。 Druid是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统&#xff0c;旨在快速处理大规模…

CentOS 7.9 安装 MySQL 8 配置模板

1. 服务器主机 BIOS 关闭 NUMA 2. 系统版本&#xff1a;CentOS Linux release 7.9.2009 (Core)&#xff1b;MySQL 8.0.22 3. 修改系统核心参数 # 编辑 /etc/sysctl.conf 文件&#xff0c;添加以下参数&#xff1a; fs.aio-max-nr524288 vm.swappiness0 net.ipv6.conf.all.di…

新年学新语言Go之五

一、前言 Go虽然不算是面向对象语言&#xff0c;但它支持面向对象一些特性&#xff0c;面向接口编程是Go一个很重要的特性&#xff0c;而Go的接口与Java的接口区别很大&#xff0c;Go的接口比较复杂&#xff0c;这里仅用一个最简单例子做介绍&#xff0c;复杂的我也还没学。 …