Spark简介

文章目录

    • 一、简介
    • 二、安装
      • 1、简介
      • 2、本地部署(Local模式)
        • 2.1 安装
        • 2.2 官方WordCount实例
      • 3、Standlong模式
        • 3.1 简介
        • 2.2 安装集群
        • 2.3 官方测试案例
      • 4、Yarn模式
        • 3.1 安装
        • 3.2 配置历史服务器
        • 3.3 配置查看历史日志
      • 5、Mesos模式
      • 6、几种模式对比
      • 7、常用端口
    • 三、Yarn模式详解
      • 1、简介
      • 2、Client模式
      • 3、Cluster模式

一、简介

1）官网地址：http://spark.apache.org/

2）文档查看地址：https://spark.apache.org/docs/3.1.3/

3）下载地址：https://spark.apache.org/downloads.html

https://archive.apache.org/dist/spark/

二、安装

1、简介

部署Spark集群大体上分为两种模式：单机模式与集群模式
大多数分布式框架都支持单机模式，方便开发者调试框架的运行环境。但是在生产环境中，并不会使用单机模式。因此，后续直接按照集群模式部署Spark集群。
下面详细列举了Spark目前支持的部署模式。

  • Local模式：在本地部署单个Spark服务
  • Standalone模式：Spark自带的任务调度模式。（国内常用）
  • YARN模式：Spark使用Hadoop的YARN组件进行资源与任务调度。（国内最常用）
  • Mesos模式：Spark使用Mesos平台进行资源与任务的调度。（国内很少用）

2、本地部署(Local模式)

2.1 安装

Local模式就是运行在一台计算机上的模式，通常就是用于在本机上练手和测试。

wget https://gitcode.net/weixin_44624117/software/-/raw/master/software/Linux/Spark/spark-3.4.1-bin-hadoop3.tgz

创建文件夹

mkdir /opt/module

解压文件

tar -zxvf spark-3.4.1-bin-hadoop3.tgz -C /opt/module/

更改文件名

mv /opt/module/spark-3.4.1-bin-hadoop3/ /opt/module/spark-local

官方求PI案例

cd /opt/module/spark-localbin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.12-3.4.1.jar \
10

参数解析：

  • --class：表示要执行程序的主类；
  • --master local[2]：

​ （1）local: 没有指定线程数，则所有计算都运行在一个线程当中，没有任何并行计算

​ （2）local[K]:指定使用K个Core来运行计算，比如local[2]就是运行2个Core来执行。

​ （3）local[*]：默认模式。自动帮你按照CPU最多核来设置线程数。比如CPU有8核，Spark帮你自动设置8个线程计算。

  • spark-examples_2.12-3.1.3.jar：要运行的程序；
  • 10：要运行程序的输入参数（计算圆周率π的次数，计算次数越多，准确率越高）；

该算法是利用蒙特·卡罗算法求PI

在这里插入图片描述

2.2 官方WordCount实例

在这里插入图片描述

准备数据

mkdir input

输入以下内容

hello atguigu
hello spark

启动Spark-shell

bin/spark-shell

执行任务

scala> sc.textFile("/opt/module/spark-local/input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
res6: Array[(String, Int)] = Array((hello,2), (atguigu,1), (spark,1))

在这里插入图片描述

查看执行结果：

连接窗口，发现了一个SparkSubmit进程

在这里插入图片描述

spark-shell窗口关闭掉，则hadoop102:4040页面关闭。

在这里插入图片描述

3、Standlong模式

3.1 简介

Standalone模式是Spark自带的资源调度引擎，构建一个由Master + Worker构成的Spark集群，Spark运行在集群中。

这个要和Hadoop中的Standalone区别开来。这里的Standalone是指只用Spark来搭建一个集群，不需要借助Hadoop的Yarn和Mesos等其他框架。

Master和Worker是Spark的守护进程、集群资源管理者，即Spark在特定模式(Standalone)下正常运行必须要有的后台常驻进程。

在这里插入图片描述

  • Driver和Executor是临时程序，当有具体任务提交到Spark集群才会开启的程序。Standalone模式是Spark自带的资源调度引擎，构建一个由Master + Worker构成的Spark集群，Spark运行在集群中。
  • 这个要和Hadoop中的Standalone区别开来。这里的Standalone是指只用Spark来搭建一个集群，不需要借助Hadoop的Yarn和Mesos等其他框架。

在这里插入图片描述

2.2 安装集群
Hadoop101Hadoop102Hadoop103
SparkMasterWorkerWorkerWorker

解压文件

tar -zxvf spark-3.4.1-bin-hadoop3.tgz -C /opt/module/

重命名文件夹

mv /opt/module/spark-3.4.1-bin-hadoop3 /opt/module/spark-standalone

添加Worker节点

cd /opt/module/spark-standalone/conf/
vim slaves

hadoop101
hadoop102
hadoop103

添加Master节点

mv spark-env.sh.template spark-env.sh
vim spark-env.sh

SPARK_MASTER_HOST=hadoop101
SPARK_MASTER_PORT=7077

在这里插入图片描述

cd /opt/module/spark-standalone
sbin/start-all.sh

在这里插入图片描述

查看页面：http://hadoop101:8080

  • 8080：master的webUI

  • 4040：application的webUI的端口号

在这里插入图片描述

2.3 官方测试案例
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop101:7077 \
./examples/jars/spark-examples_2.12-3.4.1.jar \
10

执行结果：

在这里插入图片描述

在这里插入图片描述

8080：master的webUI

4040：application的webUI的端口号

在这里插入图片描述

执行参数

./bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master spark://hadoop102:7077 \--executor-memory 2G \--total-executor-cores 2 \./examples/jars/spark-examples_2.12-3.4.1.jar \
10

参数解析

  • --executor-memory：可用内存为2G。
  • --total-executor-cores：使用CPU核数为2个。

在这里插入图片描述

参数解释可选值举例
–classSpark程序中包含主函数的类
–masterSpark程序运行的模式本地模式：local[*]、spark://hadoop102:7077、Yarn
–executor-memory 1G指定每个executor可用内存为1G符合集群内存配置即可，具体情况具体分析。
–total-executor-cores 2指定所有executor使用的cpu核数为2个
application-jar打包好的应用jar，包含依赖。这个URL在集群中全局可见。 比如hdfs:// 共享存储系统，如果是file:// path，那么所有的节点的path都包含同样的jar
application-arguments传给main()方法的参数

4、Yarn模式

  • Spark客户端直接连接Yarn，不需要额外构建Spark集群。
  • 一台能提交Yarn的服务器即可
3.1 安装

获取文件

wget https://gitcode.net/weixin_44624117/software/-/raw/master/software/Linux/Spark/spark-3.4.1-bin-hadoop3.tgz

加压安装包

tar -zxvf spark-3.4.1-bin-hadoop3.tgz -C /opt/module/

修改目录名称

mv /opt/module/spark-3.4.1-bin-hadoop3 /opt/module/spark-yarn

修改启动文件

mv /opt/module/spark-yarn/conf/spark-env.sh.template /opt/module/spark-yarn/conf/spark-env.sh

添加配置文件

vim /opt/module/spark-yarn/conf/spark-env.sh
#	增加配置内容(Yarn配置文件地址)
YARN_CONF_DIR=/opt/module/hadoop-3.1.3/etc/hadoop

提交任务

参数：--master yarn：表示Yarn方式运行；–deploy-mode表示客户端方式运行程序

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.4.1.jar \
10

在这里插入图片描述

3.2 配置历史服务器

移动配置文件

mv /opt/module/spark-yarn/conf/spark-defaults.conf.template /opt/module/spark-yarn/conf/spark-defaults.conf

修改配置文件

cd /opt/module/spark-yarn/conf
vim spark-defaults.conf

spark.eventLog.enabled        true
spark.eventLog.dir            hdfs://hadoop101:8020/directory

在这里插入图片描述

修改配置文件spark-env.sh

vim spark-env.sh

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://hadoop101:8020/directory 
-Dspark.history.retainedApplications=30"

配置文件解析：

  • Dspark.history.ui.port=18080 ：WEBUI访问的端口号为18080
  • -Dspark.history.fs.logDirectory：指定历史服务器日志存储路径（读）
  • -Dspark.history.retainedApplications：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

:wq：

3.3 配置查看历史日志

为了能从Yarn上关联到Spark历史服务器，需要配置spark历史服务器关联路径。

目的：点击yarn（8088）上spark任务的history按钮，进入的是spark历史服务器（18080），而不再是yarn历史服务器（19888）。

修改配置文件/opt/module/spark-yarn/conf/spark-defaults.conf

vim /opt/module/spark-yarn/conf/spark-defaults.conf

spark.yarn.historyServer.address=hadoop101:18080
spark.history.ui.port=18080

启动历史服务器

cd /opt/module/spark-yarn
sbin/start-history-server.sh

再次提交任务

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.4.1.jar \
10

页面查看历史任务：http://hadoop102:8088/cluster

在这里插入图片描述

在这里插入图片描述

5、Mesos模式

Spark客户端直接连接Mesos；不需要额外构建Spark集群。国内应用比较少，更多的是运用Yarn调度。

6、几种模式对比

模式Spark安装机器数需启动的进程所属者
Local1无Spark
Standalone3Master及WorkerSpark
Yarn1Yarn及HDFSHadoop

7、常用端口

  • 4040：Spark查看当前Spark-shell运行任务情况端口号：4040
  • 7077：Spark Master内部通信服务端口号：7077 （类比于yarn的8032(RM和NM的内部通信)端口）
  • 8080：Spark Standalone模式Master Web端口号：8080（类比于Hadoop YARN任务运行情况查看端口号：8088） (yarn模式) 8989
  • 18080：Spark历史服务器端口号：18080 （类比于Hadoop历史服务器端口号：19888）

三、Yarn模式详解

1、简介

Spark有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行节点。

yarn-client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出。

yarn-cluster：Driver程序运行在由ResourceManager启动的APPMaster，适用于生产环境。

2、Client模式

  • client模式启动
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.4.1.jar \
10

在这里插入图片描述

3、Cluster模式

在这里插入图片描述

  • cluster模式启动
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.4.1.jar \
10

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/114301.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

sql语句数据库查询：如果当前元素已经使用过，下拉框不显示该元素该如何查询？

sql语句数据库查询：如果当前元素已经使用过，下拉框不显示该元素该如何查询？

写宿舍管理系统，做到宿管和楼栋关系时，新增一个宿管，一个宿管管理一栋楼，如果当前楼栋已选择，那么就不能再选，如图所示： 最开始使用的是： SELECT DISTINCT b.building_num,b.TYPE,b…
阅读更多...
【Python】图像和办公文档的处理

【Python】图像和办公文档的处理

图像和办公文档处理 用程序来处理图像和办公文档经常出现在实际开发中，Python的标准库中虽然没有直接支持这些操作的模块，但我们可以通过Python生态圈中的第三方模块来完成这些操作。 操作图像 计算机图像相关知识 颜色。如果你有使用颜料画画的经历&…
阅读更多...
【计算机毕设选题推荐】口腔助手小程序SpringBoot+Vue+小程序

【计算机毕设选题推荐】口腔助手小程序SpringBoot+Vue+小程序

前言：我是IT源码社，从事计算机开发行业数年，专注Java领域，专业提供程序设计开发、源码分享、技术指导讲解、定制和毕业设计服务 项目名 基于SpringBoot的口腔助手小程序 技术栈 SpringBootVue小程序MySQLMaven 文章目录 一、口腔…
阅读更多...
nonaDlA 逻辑分析仪 使用记录

nonaDlA 逻辑分析仪 使用记录

注意事项，很灵敏，不要用手碰，产生误触发 安装软件 github地址 官方提供的淘宝地址与使用说明 1.安装 1.安装程序 ：下载githubDLA源码，打开 software\PulseView.exe安装 2.安装驱动：安装完第一步后&a…
阅读更多...
系统报错“由于找不到vcomp140.dll无法继续执行代码”的解决方案

系统报错“由于找不到vcomp140.dll无法继续执行代码”的解决方案

在我们日常使用电脑的过程中，可能会遇到一些错误提示，其中之一就是“找不到vcomp140.dll”。这个错误可能让许多用户感到困扰，因为它可能影响到我们的电脑使用。那么，vcomp140.dll是什么意思？当我们遇到这个问题时&…
阅读更多...
22下半年下午题

22下半年下午题

声明：哔哩哔哩视频笔记 源地址 第一大题题目 第一大题解答 第一小问 根据0层数据流图来找，看数据流向和相应的处理模块匹配。并且这个第一问，肯定是能在说明中找到对应短语作为答案的。 第二小问 搞清楚具体存储数据的信息名字&#xff…
阅读更多...
《低代码指南》——维格云和Airtable的比较

《低代码指南》——维格云和Airtable的比较

Airtable​ 什么是Airtable​ Airtable 是一个任务管理应用程序，它合并了电子表格、数据存储和模板，以帮助组织构建他们的工作流程。 适用于哪些企业/组织/人群​ 根据 Airtable 网站，该工具被超过 200,000 个组织的团队使用。 维格表与Airtable相比如何​ Airtable作为…
阅读更多...
机器学习中参数优化调试方法

机器学习中参数优化调试方法

1 超参数优化 调参即超参数优化，是指从超参数空间中选择一组合适的超参数，以权衡好模型的偏差(bias)和方差(variance)，从而提高模型效果及性能。常用的调参方法有： 人工手动调参 网格/随机搜索(Grid / Random Search) 贝叶斯优…
阅读更多...
01、MySQL-------性能优化

01、MySQL-------性能优化

目录 一、影响性能的相关因素存储过程： 二、sql优化1>、Mysql系统架构2>、引擎区别： 3>、索引1、什么是索引？联合主键索引理解：索引长度理解：什么是慢查询？ 1）、索引理解2）…
阅读更多...
SpringBoot结合Druid实现SQL监控

SpringBoot结合Druid实现SQL监控

1、前言 SpringBoot不用我多介绍了吧，目前后端最流行的框架。后端开发人员最基本的要求。 Druid数据库连接池，出自国内 ”java圣地" 阿里巴巴。 Druid是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统，旨在快速处理大规模…
阅读更多...
新年学新语言Go之五

新年学新语言Go之五

一、前言 Go虽然不算是面向对象语言，但它支持面向对象一些特性，面向接口编程是Go一个很重要的特性，而Go的接口与Java的接口区别很大，Go的接口比较复杂，这里仅用一个最简单例子做介绍，复杂的我也还没学。 …
阅读更多...
filebeat（8.9.0）采集日志到logstash，由logstash发送的es

filebeat（8.9.0）采集日志到logstash，由logstash发送的es

filebeat采集日志到logstash，由logstash发送的es 下载并配置filebeat下载配置logback.xml logstash配置 下载并配置filebeat 下载 参考 配置 filebeat.inputs: - type: filestreamenabled: truepaths:# 日志文件目录- D:\modellog\elkdemo\*\*.logparsers:# 多…
阅读更多...
LeetCode2409——统计共同度过的日子数

LeetCode2409——统计共同度过的日子数

博主的解法过于冗长，是一直对着不同的案例debug修改出来的，不建议学习。虽然提交成功了，但是自己最后都不知道写的是啥了哈哈哈。 package keepcoding.leetcode.leetcode2409; /*Alice 和 Bob 计划分别去罗马开会。给你四个字符串 arriveA…
阅读更多...
分发糖果[困难]

分发糖果[困难]

优质博文：IT-BLOG-CN 一、题目 n个孩子站成一排。给你一个整数数组ratings表示每个孩子的评分。你需要按照以下要求，给这些孩子分发糖果： 【1】每个孩子至少分配到1个糖果。 【2】相邻两个孩子评分更高的孩子会获得更多的糖果。 请你给每个孩…
阅读更多...
浅谈 docker run 命令中的 -i -t 和 -d 选项

浅谈 docker run 命令中的 -i -t 和 -d 选项

以 docker Ubuntu 镜像为例，ubuntu镜像启动时默认执行的命令是"/bin/bash"。 文章目录 不带任何选项带 -i 选项带 -i 和 -t 选项-d 选项 不带任何选项 rootubuntu20:~# docker run ubuntu:20.04 rootubuntu20:~# docker ps CONTAINER ID IMAGE …
阅读更多...
DDOS攻击的有效防护方式有哪些？

DDOS攻击的有效防护方式有哪些？

DDoS攻击简介： DDoS攻击，即分布式拒绝服务攻击（Distributed Denial of Service），是一种网络攻击，旨在通过向目标服务器发送大量恶意请求，使服务器资源耗尽，无法满足合法用户的需求&a…
阅读更多...
ChatGPT提示词工程＆LLM应用全解

ChatGPT提示词工程＆LLM应用全解

阅读更多...
网络协议--ARP：地址解析协议

网络协议--ARP：地址解析协议

4.1 引言 本章我们要讨论的问题是只对TCP/IP协议簇有意义的IP地址。数据链路如以太网或令牌环网都有自己的寻址机制（常常为48 bit地址），这是使用数据链路的任何网络层都必须遵从的。一个网络如以太网可以同时被不同的网络层使用。例如&#…
阅读更多...
git创建与合并分支

git创建与合并分支

文章目录 创建与合并分支分支管理的概念实际操作 解决冲突分支管理策略Bug分支Feature分支多人协作 创建与合并分支 分支管理的概念 分支在实际中有什么用呢？假设你准备开发一个新功能，但是需要两周才能完成，第一周你写了50%的代码&#xf…
阅读更多...
《动手学深度学习 Pytorch版》 9.6 编码器-解码器架构

《动手学深度学习 Pytorch版》 9.6 编码器-解码器架构

为了处理这种长度可变的输入和输出， 可以设计一个包含两个主要组件的编码器-解码器（encoder-decoder）架构： 编码器（encoder）：它接受一个长度可变的序列作为输入，并将其转换为具有固定…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023