Spark 的Standalone集群环境安装与测试

目录

一、Standalone 集群环境安装

（一）理解 Standalone 集群架构

（二）Standalone 集群部署

二、打开监控界面

（一）master监控界面

（二）日志服务监控界面

三、集群的测试

（一）圆周率测试

（二）测试 wordcount

四、关于 Spark 程序构成与监控界面

（一）4040 端口相关

（二）4040 与 8080 界面区别

五、总结

       在大数据处理领域，Spark 是一款极为强大的工具。本文将重点介绍 Spark 的 Standalone 集群环境安装、测试相关内容，帮助大家更好地理解和使用 Spark 的集群模式。

一、Standalone 集群环境安装

（一）理解 Standalone 集群架构

对比图：

  1. 架构特点
    Standalone 集群采用普通分布式主从架构。其中，Master 作为管理节点，其功能丰富，类似于 YARN 中的 ResourceManager，主要负责管理从节点、接收请求、资源管理以及任务调度。Worker 则是计算节点，它会利用自身节点的资源来运行 Master 分配的任务。这个架构为 Spark 提供了分布式资源管理和任务调度功能，和 YARN 的作用基本一致，而且它是 Spark 自带的计算平台。
  2. Python 环境注意事项
    需要注意的是，每一台服务器上都要安装 Anaconda，因为其中包含 python3 环境。若没有安装，就会出现 python3 找不到的错误。

（二）Standalone 集群部署

第一步：将bigdata02和bigdata03安装Annaconda

因为里面有python3环境，假如没有安装的话，就报这个错误：

上传，或者同步

xsync.sh /opt/modules/Anaconda3-2021.05-Linux-x86_64.sh
# 添加执行权限
chmod u+x Anaconda3-2021.05-Linux-x86_64.sh
# 执行
sh ./Anaconda3-2021.05-Linux-x86_64.sh
# 过程
#第一次：【直接回车，然后按q】Please, press ENTER to continue>>>
#第二次：【输入yes】Do you accept the license terms? [yes|no][no] >>> yes
#第三次：【输入解压路径：/opt/installs/anaconda3】[/root/anaconda3] >>> /opt/installs/anaconda3#第四次：【输入yes，是否在用户的.bashrc文件中初始化
Anaconda3的相关内容】Do you wish the installer to initialize  Anaconda3by running conda init? [yes|no][no] >>> yes
配置环境变量制作软连接

刷新环境变量：
# 刷新环境变量
source /root/.bashrc
# 激活虚拟环境，如果需要关闭就使用：conda deactivate
conda activate配置环境变量：
# 编辑环境变量
vi /etc/profile
# 添加以下内容
# Anaconda Home
export ANACONDA_HOME=/opt/installs/anaconda3
export PATH=$PATH:$ANACONDA_HOME/bin制作软链接：
# 刷新环境变量
source /etc/profile
Spark的客户端bin目录下：提供了多个测试工具客户端
# 创建软连接
ln -s /opt/installs/anaconda3/bin/python3 /usr/bin/python3
# 验证
echo $ANACONDA_HOME

在bigdata01上安装spark

# 解压安装
cd /opt/modules
tar -zxf spark-3.1.2-bin-hadoop3.2.tgz -C /opt/installs
# 重命名
cd /opt/installs
mv spark-3.1.2-bin-hadoop3.2 spark-standalone
# 重新构建软连接
rm -rf spark
ln -s spark-standalone spark

修改 spark-env.sh配置文件

cd /opt/installs/spark/conf
mv spark-env.sh.template spark-env.sh
vim spark-env.sh
# 22行：申明JVM环境路径以及Hadoop的配置文件路径
export JAVA_HOME=/opt/installs/jdk
export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop
# 60行左右
export SPARK_MASTER_HOST=bigdata01 # 主节点所在的地址
export SPARK_MASTER_PORT=7077 #主节点内部通讯端口，用于接收客户端请求
export SPARK_MASTER_WEBUI_PORT=8080 #主节点用于供外部提供浏览器web访问的端口
export SPARK_WORKER_CORES=1     # 指定这个集群总每一个从节点能够使用多少核CPU
export SPARK_WORKER_MEMORY=1g   #指定这个集群总每一个从节点能够使用多少内存
export SPARK_WORKER_PORT=7078
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_DAEMON_MEMORY=1g  # 进程自己本身使用的内存
export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://bigdata01:9820/spark/eventLogs/ -Dspark.history.fs.cleaner.enabled=true"
# Spark中提供了一个类似于jobHistoryServer的进程，就叫做HistoryServer, 用于查看所有运行过的spark程序

在HDFS上创建程序日志存储目录

首先如果没有启动hdfs，需要启动一下
# 第一台机器启动HDFS
start-dfs.sh
# 创建程序运行日志的存储目录
hdfs dfs -mkdir -p /spark/eventLogs/
spark-defaults.conf：Spark属性配置文件
mv spark-defaults.conf.template spark-defaults.conf
vim spark-defaults.conf
# 末尾
spark.eventLog.enabled           true
spark.eventLog.dir              hdfs://bigdata01:9820/spark/eventLogs
spark.eventLog.compress              true
workers：从节点地址配置文件
mv workers.template workers
vim workers
# 删掉localhost，添加以下内容
bigdata01
bigdata02
bigdata03
log4j.properties：日志配置文件
mv log4j.properties.template log4j.properties
vim log4j.properties
# 19行：修改日志级别为WARN
log4j.rootCategory=WARN, consolelog4j的5种 级别  debug --> info --> warn --error -->fatal
同步bigdata01中的spark到bigdata02和03上

xsync.sh为自建脚本

大数据集群中实用的三个脚本文件解析与应用-CSDN博客

xsync.sh /opt/installs/spark-standalone/
接着在第二台和第三台上，创建软链接
cd /opt/installs/
ln -s spark-standalone spark换个思路，是否可以同步软链接：
xsync.sh /opt/installs/spark
集群的启动
启动master:
cd /opt/installs/spark
sbin/start-master.sh
启动所有worker:
sbin/start-workers.sh
如果你想启动某一个worker
sbin/start-worker.sh启动日志服务：
sbin/start-history-server.sh要想关闭某个服务，将start换为stop

二、打开监控界面

（一）master监控界面

http://bigdata01:8080/

（二）日志服务监控界面

http://bigdata01:18080/假如启动报错，查看日志发现说没有文件夹：
mkdir /tmp/spark-eventshdfs dfs -mkdir -p /spark/eventLogs
再启动即可

三、集群的测试

（一）圆周率测试

在集群环境下进行圆周率测试，与本地模式运行的区别主要在 --master 后面的参数。

# 提交程序脚本：bin/spark-submit
/opt/installs/spark/bin/spark-submit --master spark://bigdata01:7077 /opt/installs/spark/examples/src/main/python/pi.py 200

（二）测试 wordcount

将本地数据上传至 HDFS

参考：Spark 的介绍与搭建：从理论到实践-CSDN博客

hdfs dfs -mkdir -p /spark/wordcount/input
hdfs dfs -put /home/data.txt /spark/wordcount/input

使用集群环境编写测试 wordcount

本地模式：
/opt/installs/spark/bin/pyspark --master local[2]
standalone集群模式：
/opt/installs/spark/bin/pyspark --master spark://bigdata01:7077

读取数据  读取是hdfs上的数据 

# 读取数据  读取是hdfs上的数据
input_rdd = sc.textFile("/spark/wordcount/input")
# 转换数据
rs_rdd = input_rdd.filter(lambda line : len(line.strip())> 0).flatMap(lambda line :line.strip().split(r" ")).map(lambda word : (word,1)).reduceByKey(lambda tmp,item : tmp+item)
# 保存结果
rs_rdd.saveAsTextFile("/spark/wordcount/output3")以上这些代码跟昨天没区别只是运行环境变了。
本地数据 --> hdfs上的数据
本地资源 --> 集群的资源  这些算子都是在spark自带的standalone集群平台上运行的。

解决一个问题：

spark-env.sh

# 22行：申明JVM环境路径以及Hadoop的配置文件路径
export JAVA_HOME=/opt/installs/jdk
export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop
# 60行左右
export SPARK_MASTER_HOST=bigdata01 # 主节点所在的地址
export SPARK_MASTER_PORT=7077 #主节点内部通讯端口，用于接收客户端请求
export SPARK_MASTER_WEBUI_PORT=8080 #主节点用于供外部提供浏览器web访问的端口
export SPARK_WORKER_CORES=1     # 指定这个集群总每一个从节点能够使用多少核CPU
export SPARK_WORKER_MEMORY=1g   #指定这个集群总每一个从节点能够使用多少内存
export SPARK_WORKER_PORT=7078
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_DAEMON_MEMORY=1g  # 进程自己本身使用的内存
export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://bigdata01:9820/spark/eventLogs/ -Dspark.history.fs.cleaner.enabled=true"
# Spark中提供了一个类似于jobHistoryServer的进程，就叫做HistoryServer, 用于查看所有运行过的spark程序

修改完之后，同步给bigdata02和03，重新启动各个服务即可。

四、关于 Spark 程序构成与监控界面

在分布式集群模式下，任何一个 Spark 程序都由 1 个 Driver 和多个 Executor 进程所构成。

任何一个spark程序在集群模式下运行，都有两种进程：
Driver、Executor
Driver: 驱动程序，每一个spark程序都只有一个
Executor: 执行进程，负责计算，可以有多个，运行在不同节点

Master和Worker进程，是spark的standalone平台服务启动后的进程，不管是否有任务执行，它都会启动的
Driver、Executor 是只有有任务执行的时候才会有的进程！！

假如一个任务，你看到如下的场景，说明任务没有执行完，需要等......

（一）4040 端口相关

http://bigdata01:4040 查看正在运行的任务

4040这个界面，只要有新任务，就会生成一个新的界面，比如你要是再执行一个任务，端口会变为4041，再来一个任务，端口变4042

默认情况下，当一个Spark Application运行起来后，可以通过访问hostname:4040端口来访问UI界面。hostname是提交任务的Spark客户端ip地址，端口号由参数spark.ui.port(默认值4040，如果被占用则顺序往后探查)来确定。由于启动一个Application就会生成一个对应的UI界面，所以如果启动时默认的4040端口号被占用，则尝试4041端口，如果还是被占用则尝试4042，一直找到一个可用端口号为止

通过这个 界面，可以看到一个任务执行的全部情况。这个界面跟 http://bigdata01:8080界面很像。

（二）4040 与 8080 界面区别

通过案例查看 4040 界面和 8080 界面的区别：

/opt/installs/spark/bin/spark-submit --master spark://bigdata01:7077 /opt/installs/spark/examples/src/main/python/pi.py 1000

假如启动了一个任务在集群上运行，4040端口中查看的所有信息都只跟这个任务有关系，

假如又启动一个任务，4040是看不到了，可以使用4041来查看，依次类推。当任务结束后，404x 这些界面都会销毁掉，相当于只能查看正在运行的一个任务。

8080这个界面是一个总指挥，不仅能看到正在运行的任务，还可以看到已经执行完的任务。

五、总结

        本文围绕 Spark 的 Standalone 集群环境展开。首先介绍其安装，包括理解架构（主从架构，Master 管理资源和任务调度，Worker 执行任务，类似 YARN，且需安装 Anaconda 保证 python3 环境）和部署（在 bigdata02、03 安装 Anaconda，在 bigdata01 安装 Spark 并修改配置文件、创建日志存储目录、配置 Spark 属性、从节点地址和日志等文件），还讲了集群同步与启动方法。接着是测试，圆周率测试和 wordcount 测试，强调了与本地模式在参数和数据来源上的区别。最后阐述 Spark 程序构成（1 个 Driver 和多个 Executor）和监控界面，如 4040 端口可查看正在运行任务（新任务会使端口递增），8080 端口能查看所有任务情况。

        希望本文能帮助大家更好地理解 Spark 的 Standalone 集群环境相关知识，在大数据处理实践中更加得心应手。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/884842.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

react的antd-mobile使用Steps显示物流

react的antd-mobile使用Steps显示物流

antd-mobile的图标，是需要安装依赖的 step如果只有一个步骤是不会展示的，代码里面的标题那块可以看出来 尝试了很多遍测试发现一直不显示，查询后发现是这个组件的本身设置的原因 那么就算你只展示一个那么也要写两个step，第二个…
阅读更多...
基于鸟类AI识别的果园智能物联网解决方案

基于鸟类AI识别的果园智能物联网解决方案

1. 项目背景 我国拥有广阔的果园种植面积，但每年因鸟类造成的损失高达数亿元。传统的防鸟害措施，如建立防护网和使用物理化学方法，效果并不理想，且成本较高。为了解决这一问题，深圳快瞳科技有限公司的提出基于鸟类AI识…
阅读更多...
uniapp 使用vue/pwa

uniapp 使用vue/pwa

vue add vue/pwa src下创建service-worker.js /* eslint-disable no-undef*/ importScripts(https://storage.googleapis.com/workbox-cdn/releases/5.1.2/workbox-sw.js) if (workbox) {console.log(Yay! Workbox is loaded 🎉) } else {console.log(Boo! Workbo…
阅读更多...
Java 实现接口幂等的九种方法：确保系统稳定性与数据一致性

Java 实现接口幂等的九种方法：确保系统稳定性与数据一致性

摘要： 在分布式系统中，接口的幂等性至关重要，它能确保重复请求不会导致意外的副作用。本文深入探讨了 Java 实现接口幂等的九种方法，包括数据库唯一约束、状态机、分布式锁等，并通过详细的代码示例和实际应用场景&…
阅读更多...
让Erupt框架支持.vue文件做自定义页面模版

让Erupt框架支持.vue文件做自定义页面模版

Erupt是什么？ Erupt 是一个低代码 全栈类 框架，它使用 Java 注解 动态生成页面以及增、删、改、查、权限控制等后台功能。 零前端代码、零 CURD、自动建表，仅需 一个类文件 简洁的注解配置，快速开发企业级 Admin 管理后台。 提…
阅读更多...
如何优雅处理异常？处理异常的原则

如何优雅处理异常？处理异常的原则

前言 在我们日常工作中，经常会遇到一些异常，比如：NullPointerException、NumberFormatException、ClassCastException等等。 那么问题来了，我们该如何处理异常，让代码变得更优雅呢？ 1 不要忽略异常 不知…
阅读更多...
OCR与PaddleOCR介绍

OCR与PaddleOCR介绍

OCR技术与PaddleOCR的介绍 在数字化时代，光学字符识别（OCR，Optical Character Recognition）技术变得越来越重要。OCR技术可以将图像中的文本转换为可编辑和可搜索的文本格式，广泛应用于文档数字化、自动化数据输入、车…
阅读更多...
DBAPI连接阿里云 maxcompute 报错

DBAPI连接阿里云 maxcompute 报错

使用正确的驱动包 访问以下链接寻找驱动包 https://github.com/aliyun/aliyun-odps-jdbc/releases/tag/v3.4.3 注意要使用odps-jdbc-3.4.3-jar-with-dependencies.jar ，这个是完整的jar包 不要使用odps-jdbc-3.4.3.jar，这个不是完整的，它还…
阅读更多...
2024最新Python安装教程+Pycharm安装教程【附安装包】

2024最新Python安装教程+Pycharm安装教程【附安装包】

Python安装 1.首先下载好Python安装包 获取方式：点击这里（扫描神秘②薇码免下载）完全免费！！！ 2.打开安装包，先勾选最下面两个选项，再选择第二个自定义安装 3.这里默认全选&#xff…
阅读更多...
Fatal error: Uncaught Error: Call to undefined function mysql_connect() 解决办法详细

Fatal error: Uncaught Error: Call to undefined function mysql_connect() 解决办法详细

情况一 Fatal error: Uncaught Error: Call to undefined function mysql_connect() in /www/wwwroot/www.ygwzjs.cn/dg_upload/class/db_sql.php:72 Stack trace: #0 /www/wwwroot/www.ygwzjs.cn/dg_upload/class/combakfun.php(192): do_dbconnect_common(localhost, , guiz…
阅读更多...
【数据库】elasticsearch

【数据库】elasticsearch

1、架构 es会为每个索引创建一定数量的主分片和副本分片。 分片（Shard）： 将索引数据分割成多个部分，每个部分都是一个独立的索引。 主要目的是实现数据的分布式存储和并行处理，从而提高系统的扩展性和性能。 在创建索…
阅读更多...
Oracle 第19章：高级查询技术

Oracle 第19章：高级查询技术

在Oracle数据库中，高级查询技术是数据库管理员和开发人员必须掌握的重要技能。这些技术能够帮助优化查询性能，简化复杂的查询逻辑，并提高数据处理的效率。本章将重点讨论两个关键概念：子查询和连接与并集操作。 子查询 定义: 子…
阅读更多...
JAVA基础：数组 （习题笔记）

JAVA基础：数组 （习题笔记）

一，编码题 1，数组查找操作：定义一个长度为10 的一维字符串数组，在每一个元素存放一个单词；然后运行时从命令行输入一个单词，程序判断数组是否包含有这个单词，包含这个单词就打印出“Yes”&…
阅读更多...
pytoch单卡改多卡ddp训练

pytoch单卡改多卡ddp训练

参考：https://blog.csdn.net/weixin_44966641/article/details/121872773 单卡代码，启动代码 python train.py： import torch import torch.nn as nn from torch.optim import SGD from torch.autograd import Variable from torch.utils.da…
阅读更多...
【学习】使用webpack搭建react项目

【学习】使用webpack搭建react项目

前言 在日常工作中，我大多是在已有的项目基础上进行开发，而非从头构建项目。因此，我期望通过本次学习能填补我在项目初始化阶段知识的空白，与大家共同进步。在此过程中，我欢迎并感激任何指正或建议，无论是…
阅读更多...
什么是人工智能体？

什么是人工智能体？

人工智能体（AI Agent）是指能够感知环境、做出决策并采取行动以实现特定目标的自主实体。以下是对人工智能体的具体介绍： 定义与核心概念 智能体的定义：智能体，英文名为Agent，是指具有智能的实体&#xff0…
阅读更多...
【笔记】前后端互通中前端登录无响应

【笔记】前后端互通中前端登录无响应

后来的前情提要 ： 后端的ip地址在本地测试阶段应该设置为localhost 前端中写cors的配置 后端也要写cors的配置 且两者的url都要为localhost 前端写的baseUrl是指定对应的后端的ip地址以及端口号 很重要 在本地时后端的IP的地址也必须为本地的 F12的网页报错是&a…
阅读更多...
【初阶数据结构篇】链式结构二叉树（续）

【初阶数据结构篇】链式结构二叉树（续）

文章目录 须知 💬 欢迎讨论：如果你在学习过程中有任何问题或想法，欢迎在评论区留言，我们一起交流学习。你的支持是我继续创作的动力！ 👍 点赞、收藏与分享：觉得这篇文章对你有帮助吗&#xff1…
阅读更多...
跨平台Flutter 、ReactNative 开发原理

跨平台Flutter 、ReactNative 开发原理

一、跨平台Flutter开发原理 Flutter是一个跨平台的应用程序开发框架，它允许你使用一组代码库来构建同时运行在Android和iOS上的应用程序。 1.1.Flutter的核心原理基于以下几点： Dart异步、Widget构建块灵活配置、自工化工具链、热重载、Skia图库、Dar…
阅读更多...
二叉树 最大深度(递归)

二叉树 最大深度(递归)

给定一个二叉树 root ，返回其最大深度。 二叉树的 最大深度 是指从根节点到最远叶子节点的最长路径上的节点数。 示例 1： 输入：root [3,9,20,null,null,15,7] 输出：3示例 2： 输入：root [1,null,2] 输出…
阅读更多...
最新文章

Copyright @ 2022~2023