伪分布式Spark集群搭建

一、软件环境

    

    

    

VMware虚拟机

16

VMware-workstation-full-16.2.2-19200509.exe

SSH连接工具

FinalShell

Linux OS

CentOS7.5

CentOS-7.5-x86_64-DVD-1804.iso

JDK

1.8

jdk-8u161-linux-x64.tar.gz

Spark

3.2.1

spark-3.2.1-bin-hadoop2.7.tgz

二、实训操作步骤

技能点1:Final Shell连接虚拟机 

①打开虚拟机终端,输入命令ifconfig,查看虚拟机的IP地址。

②打开Final Shell,进行SSH连接虚拟机。

③设置IP地址,使用root账户和密码进行连接登录。

技能点2:上传Spark安装包并解压

①上传Spark安装包

使用FinalShell软件将HBase安装包spark-3.2.1-bin-hadoop2.7.tgz上传至虚拟机的/opt目录下。

②解压Spark安装包 

使用“tar”命令将HBase解压至/usr/local目录下,具体命令如下:

tar -zxvf /opt/spark-3.2.1-bin-hadoop2.7.tgz -C /usr/local/

技能点3:配置spark-env.sh文件

①进入到Spark安装包的conf目录下,具体命令如下:

cd /usr/local/spark-3.2.1-bin-hadoop2.7/conf

②将spark-env.sh.template复制为spark-env.sh,具体命令如下:

cp spark-env.sh.template spark-env.sh

③输入“vi spark-env.sh”命令,打开文件,在文件末尾添加如下代码:

#Jdk安装路径export JAVA_HOME=/usr/local/jdk1.8.0_161      #Hadoop安装路径export HADOOP_HOME=/usr/local/hadoop-3.1.4#Hadoop配置文件的路径                export HADOOP_CONF_DIR=/usr/local/hadoop-3.1.4/etc/hadoop    #Spark主节点的IP地址或机器名export SPARK_MASTER_IP=hadoop                                                            #Spark本地的IP地址或机器名export SPARK_LOCAL_IP=hadoop  

技能点4:启动测试Spark集群 

①目录切换到sbin目录下启动集群。

#进入到sbin目录下
cd /usr/local/spark-3.2.1-bin-hadoop2.7/sbin#启动spark集群./start-all.sh

②jps查看进程。

③切换到Spark安装包的/bin目录下(cd /usr/local/spark-3.2.1-bin-hadoop2.7/bin),使用SparkPi来计算Pi的值。

#切换到Spark安装包的/bin目录下
cd /usr/local/spark-3.2.1-bin-hadoop2.7/bin
#运行程序
./run-example SparkPi 2

技能点5:浏览器访问Spark 页面 

①关闭防火墙 输入命令“systemctl stop firewalld.service

②打开浏览器访问Spark自带web页面 浏览器输入网址:http://192.168.15.128:8080/

③效果图如下

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/744648.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

PostgreSQL YUM安装

docker中的centos7中安装 选择对应的版本然后在容器中的centos7中执行下面命令 但是启动容器的时候需要注意 开启端口映射开启特权模式启动init进程 docker run -itd --name centos-postgresql -p 5433:5432 --privilegedtrue centos:centos7 /usr/sbin/init 启动然后进入后先…

java SSM在线学习网站系统myeclipse开发mysql数据库springMVC模式java编程计算机网页设计

一、源码特点 java SSM在线学习网站系统是一套完善的web设计系统(系统采用SSM框架进行设计开发,springspringMVCmybatis),对理解JSP java编程开发语言有帮助,系统具有完整的源代码和数据库,系统主要采用…

【基于HTML5的网页设计及应用】——改变文字和背景颜色

🎃个人专栏: 🐬 算法设计与分析:算法设计与分析_IT闫的博客-CSDN博客 🐳Java基础:Java基础_IT闫的博客-CSDN博客 🐋c语言:c语言_IT闫的博客-CSDN博客 🐟MySQL&#xff1a…

有手就会Python自定义模块使用

1.自定义模块 自定义模块一般是在项目中根据自己的需求进行的封装 项目中自定义了额一个模块,module.py name "张三" age 23 weight 160 height 187 def test(): print("测试的方法") def demo(): print("天使的眼泪") …

html5cssjs代码 002 50以内的加法算式

html5&css&js代码 002 一些基本概念 50以内的加法算式 一、代码二、解释 50以内的加法算式。 一、代码 <!DOCTYPE html> <html lang"en"> <head><title>50以内的加法算式</title><meta charset"UTF-8"><m…

2024年Twitter上最值得关注的26名顶级程序员

2023年7月23日&#xff0c;在Twitter发布17年后&#xff0c;马斯克在Twitter上表示&#xff0c;是时候将该平台更名为X了。 对很多人来说&#xff0c;Twitter是一个分享他们对社会新闻或人生重大事件的想法的地方&#xff0c;这里也是紧跟文化潮流、获取全球最新消息的最佳方式…

如何更简捷地在 Java 中进行函数式编程

public static void findNemo(List names) { boolean found false; for(String name : names) { if(name.equals(“Nemo”)) { found true; break; } } if(found) System.out.println(“Found Nemo”); else System.out.println(“Sorry, Nemo not found”); } …

392.判断子序列

题目&#xff1a;给定字符串s和t&#xff0c;判断s是否为t 的子序列。 字符串的一个子序列是原始字符串删除一些字符而不改变剩余字符相对位置形成的新字符串。 解题思路&#xff1a;s是否是 t 的子序列&#xff0c;因此只要能找到任意一种 s 在 t 中出现的方式&#xff0c;即…

代码随想录day19(1)二叉树:完全二叉树节点个数(leetcode222)

题目要求&#xff1a;求一个完全二叉树的节点个数 思路&#xff1a;首先完全二叉树可以用普通二叉树的方法来求&#xff0c;但是需要遍历所有的节点。 但是对于完全二叉树来说&#xff0c;只有最底层右侧的节点可能没满&#xff0c;其余每层节点都达到了最大值。所以我们可以…

C++中PostMessage和SendMessage函数的用途、区别、使用方法及使用示例

在C的Windows编程中&#xff0c;PostMessage和SendMessage是用于进程间通信&#xff08;IPC&#xff09;的重要函数&#xff0c;特别是在同一应用程序的不同部分或不同应用程序之间发送消息时。这两个函数都用于向窗口发送消息&#xff0c;但它们在发送方式和行为上有所不同。 …

Nwatch在stm32上的移植

目录 Nwatch在stm32上的移植前言实验目的移植game1_task任务相关代码片段结果本文中使用的工程 Nwatch在stm32上的移植 本文目标&#xff1a;Nwatch在stm32上的移植 按照本文的描述&#xff0c;应该可以跑通实验并举一反三。 先决条件&#xff1a;装有编译和集成的开发环境&…

代码随想录算法训练营第四十四天|动态规划|完全背包、518. 零钱兑换 II、377. 组合总和 Ⅳ

完全背包 文章 一维 只有一个物品时 尽可能多装 dp[j]max( dp[j] (一般0) , dp[j-weight[0]]value[0] (要求j>weight[0]) ) 下一层 dp[j]max (dp[j] , dp[j-weight[i]] valuw[i] ) 从前往后遍历&#xff1a;因为腾一件value更高就腾&#xff0c;至于腾一件后里面包含几件都…

Vue-- 实现简单版 vue-router

实现简单版vue-router3 前置知识&#xff1a; 1、vue 插件机制 &#xff1a; vue.use(arg) arg可以是一个函数和对象&#xff0c;需要有一个install方法&#xff0c;如果是函数&#xff08;没有install方法&#xff09;&#xff0c;则直接执行该函数。install 方法第一个参数…

Linux进程状态

目录 1.R运行状态&#xff08;running&#xff09; 2.S睡眠状态&#xff08;sleep&#xff09; 3.T或t状态&#xff08;stopped 或 tracing stop&#xff09; 4.Z状态&#xff08;zombie&#xff09;&#xff08;僵尸进程&#xff09; 1.R运行状态&#xff08;running&…

exec 和 xargs 命令的用法区别,优缺点

exec 和 xargs 都是用于执行命令的工具&#xff0c;但它们有不同的特点、用法和优缺点。 exec 命令特点和用法&#xff1a; 特点&#xff1a; exec 命令是由 find 命令提供的一个选项&#xff0c;它允许在 find 命令查找到的文件上执行指定的命令。exec 将对 find 查找到的每一…

通过Spring Boot 实现页面配置生成动态接口?

流程介绍 在Spring Boot中实现页面配置生成动态接口通常涉及几个关键步骤: 设计页面配置:首先,你需要设计一个用户界面(UI),允许用户通过此界面来配置接口的各种参数,例如HTTP方法(GET、POST等)、URL路径、请求参数、响应数据格式等。保存配置信息:当用户通过页面配置…

Self-supervised Contextual Keyword and Keyphrase Retrieval with Self-Labelling

文章目录 题目摘要方法数据集实验 题目 通过自我标记进行自我监督的上下文关键字和关键词短语检索 论文地址&#xff1a;https://www.preprints.org/manuscript/201908.0073/v1 项目地址&#xff1a;https://github.com/naister/Keyword-OpenSource-Data 摘要 在本文中&#x…

2023 年江苏省职业院校技能大赛(中职)网络搭建与应用赛项公开赛卷——技能要求

2023 年江苏省职业院校技能大赛&#xff08;中职&#xff09;网络搭建与应用赛项公开赛卷——技能要求 2023 年江苏省职业院校技能大赛&#xff08;中职&#xff09; 网络搭建与应用赛项公开赛卷——技能要求 竞赛说明 1. 竞赛内容分布 “网络搭建与应用”竞赛共分五个部…

反向传播 — 简单解释

一、说明 关于反向传播&#xff0c;我有一个精雕细刻的案例计划&#xff0c;但是实现了一半&#xff0c;目前没有顾得上继续充实&#xff0c;就拿论文的叙述这里先起个头&#xff0c;我后面将修改和促进此文的表述质量。 二、生物神经元 大脑是一个由大约100亿个神经元组成的复…

寄存器(内存访问)

文章目录 寄存器&#xff08;内存访问&#xff09;1 内存中字的存储2 DS和[address]3 字的传送4 mov、add、sub指令5 数据段6 栈7 CPU提供的栈机制8 栈顶超界的问题9 push、pop指令10 栈段 寄存器&#xff08;内存访问&#xff09; 1 内存中字的存储 CPU中&#xff0c;用16位寄…