摸鱼大数据——Spark基础——Spark环境安装——Spark Local[*]搭建

一、虚拟机配置

  1. 查看每一台的虚拟机的IP地址和网关地址

查看路径:  cat /etc/sysconfig/network-scripts/ifcfg-ens33

2.修改 VMware的网络地址:  使用VMnet8

3.修改windows的对应VMware的网卡地址

4.通过finalshell 或者其他的shell连接工具即可连接使用即可, 连接后, 测试一下网络

http://www.hostbuf.com/

5.如果需要配置一些windows上的Host地址, 建议配置一下

需要在windows的hosts(路径:C:\Windows\System32\drivers\etc\hosts)文件中增加如下配置:

192.168.88.161 node1 node1.itcast.cn

192.168.88.162 node2 node2.itcast.cn

192.168.88.163 node3 node3.itcast.cn

解决办法:先把etc目录下的hosts文件剪切到桌面,在桌面上对hosts文件内容修改。修改完以后,再剪切移动到etc目录下

二、Spark Local[*]模式搭建文档

在本地使用单机多线程模拟Spark集群中的各个角色

1.安装包下载

目前Spark最新稳定版本:课程中使用目前Spark最新稳定版本:3.1.2系列

下载地址:Index of /dist/spark

2、将安装包上传并解压

说明: 只需要上传至node1的/export/software目录下即可, 以下操作都是在node1执行的

cd /export/software

rz -y 上传

解压:

tar -zxf spark-3.1.2-bin-hadoop3.2.tgz  -C /export/server/

更名: (两种方式二选一即可, 推荐软连接方案)

cd /export/server

方式一推荐: 

软连接方案: ln -s spark-3.1.2-bin-hadoop3.2 spark

方式二: 

直接重命名: mv spark-3.1.2-bin-hadoop3.2 spark

目录结构说明:

Linux上上传下载的软件下载和使用:

yum -y install lrzsz

rz -y上传

sz -y下载

3.测试

环境启动:

Spark的local模式, 开箱即用, 直接启动bin目录下的spark-shell脚本

cd /export/server/spark/bin

./spark-shell

说明:

sc:SparkContext实例对象:

spark:SparkSession实例对象

4040:Web监控页面端口号

访问页面:
http://node1:4040

●Spark-shell说明:

1.直接使用./spark-shell

表示使用local 模式启动,在本机启动一个SparkSubmit进程

2.还可指定参数 --master,如:

spark-shell --master local[N] 表示在本地模拟N个线程来运行当前任务

spark-shell --master local[*] 表示使用当前机器上所有可用的资源

3.不携带参数默认就是

spark-shell --master local[*]

4.后续还可以使用--master指定集群地址,表示把任务提交到集群上运行,如

./spark-shell --master spark://node01:7077,node02:7077

5.退出spark-shell

使用 :quit


 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/36909.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何在Java中实现事件驱动编程?

如何在Java中实现事件驱动编程? 大家好,我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编,也是冬天不穿秋裤,天冷也要风度的程序猿!今天我们将探讨如何在Java中实现事件驱动编程,这是一种强…

AD PCB板子裁剪与泪滴设置

在剪裁板子时。首先,选择选择板子的机械层,之后选择画线。在原来的板子上画上自己想要裁剪的图形。如下下图 之后,选择按照所画的线裁剪板子即可,如下 在焊接PCB时,为了防止多次焊接导至焊盘脱落可以加大焊点的接触面积…

ESP32-C3模组上跑通MQTT(6)—— tcp例程(1)

接前一篇文章:ESP32-C3模组上跑通MQTT(5) 《ESP32-C3 物联网工程开发实战》 一分钟了解MQTT协议 ESP32 MQTT API指南-CSDN博客 ESP-IDF MQTT 示例入门_mqtt outbox-CSDN博客 ESP32用自签CA进行MQTT的TLS双向认证通信_esp32 mqtt ssl-CSDN博客 特此致谢! 本回开始正式讲…

mac docker 运行mysql5.7 镜像失败解决

12312 qemu: uncaught target signal 11 (Segmentation fault) InnoDB: Linux Native AIO interface is not supported on this platform. Please check your OS documentation and install appropriate binary of InnoDB. 问题如上 一般来说,拉取mysql8是没问题…

浅谈css的cusor属性

在网页设计中,细节决定成败。CSS的cursor属性是这些细节中的关键一环,它不仅影响着网页的美观,更关乎用户体验。今天,我们就来深入了解一下cursor属性,看看如何通过它来增强网页的交互性。 cursor属性概览 cursor属性…

华润万家超市卡怎么用?

华润的礼品卡不仅能线下门店使用,还能直接叫送货上门 我最近用积分兑了几张华润卡,但是又没有购物需求,送朋友吧面值又不大,朋友也说用不上 最后朋友建议我在收卡云上把卡出掉,我试了下92折出掉了,价格还…

代码随想录算法训练营第四十七天| 188.买卖股票的最佳时机IV ,309.最佳买卖股票时机含冷冻期 ,714.买卖股票的最佳时机含手续费

188. 买卖股票的最佳时机 IV - 力扣&#xff08;LeetCode&#xff09; class Solution {public int maxProfit(int k, int[] prices) {int[][] dp new int[prices.length][2*k];for(int i0;i<2*k;i){if(i%2 0){dp[0][i] -prices[0];}else{dp[0][i] 0;} }for(int i1;i…

综合项目实战--jenkins节点模式

一、DevOps流程 DevOps是一种方法论,是一系列可以帮助开发者和运维人员在实现各自目标的前提下,向自己的客户或用户交付最大化价值及最高质量成果的基本原则和实践,能让开发、测试、运维效率协同工作的方法。 DevOps流程(自动化测试部分) DevOps完整流程 二、gitee+j…

内网和外网的区别及应用

内网和外网的区别及应用 大家好&#xff0c;我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编&#xff0c;也是冬天不穿秋裤&#xff0c;天冷也要风度的程序猿&#xff01;今天我们来探讨一下计算机网络中的内网和外网&#xff0c;它们的区别以及在实际应用中的…

go sync包(四) 读写锁(二)

读写锁 RWMutex 写锁 加锁 RWMetex 的写锁复用了 Mutex&#xff1a; // Lock locks rw for writing. // If the lock is already locked for reading or writing, // Lock blocks until the lock is available. func (rw *RWMutex) Lock() {if race.Enabled {_ rw.w.state…

安全与发展并重:实施等保,促进企业可持续增长的逻辑

在数字经济时代&#xff0c;信息安全不仅是企业稳健运营的基石&#xff0c;也是推动可持续发展的重要保障。网络安全等级保护&#xff08;简称“等保”&#xff09;体系&#xff0c;作为国家层面设立的信息安全保障框架&#xff0c;其核心在于平衡安全与发展的关系&#xff0c;…

Java中如何进行分布式系统设计?

Java中如何进行分布式系统设计&#xff1f; 大家好&#xff0c;我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编&#xff0c;也是冬天不穿秋裤&#xff0c;天冷也要风度的程序猿&#xff01;今天&#xff0c;我们来讨论如何在Java中进行分布式系统设计。分布式…

什么是 Python 包管理器?怎么安装?

Python 包管理器是一个用于安装、升级、卸载和管理 Python 包的工具。Python 的包&#xff08;也称为模块或库&#xff09;是预编写的 Python 代码&#xff0c;用于执行各种任务&#xff0c;如数据处理、网页开发、科学计算等。Python 包管理器使得这些包的管理变得简单和高效。…

Android Gradle开发与应用 (第一部分):入门Gradle基础

Gradle 是一个开源的构建自动化工具&#xff0c;广泛用于Android项目的构建和管理。本文将介绍Gradle的基础知识&#xff0c;帮助开发者更好地理解和使用Gradle进行Android应用开发。 目录 什么是GradleGradle的基本概念配置Gradle环境Gradle构建脚本结构常用Gradle命令多项目…

计算Dice损失的函数

计算Dice损失的函数 def Dice_loss(inputs, target, beta1, smooth 1e-5):n,c, h, w inputs.size() #nt,ht, wt, ct target.size() #nt,if h ! ht and w ! wt:inputs F.interpolate(inputs, size(ht, wt), mode"bilinear", align_cornersTrue)temp_inputs t…

LLaMA-Factory安装

安装代码 https://github.com/echonoshy/cgft-llm/blob/master/llama-factory/README.md https://github.com/hiyouga/LLaMA-Factory/tree/mainLLaMA-Factoryhttps://github.com/hiyouga/LLaMA-Factory/tree/main 【大模型微调】- 使用Llama Factory实现中文llama3微调_哔哩…

TIA博途WinCC通过VB脚本从 Excel中读取数据的具体方法介绍

TIA博途WinCC通过VB脚本从 Excel中读取数据的具体方法介绍 添加 一个PLC,设置PLC的IP地址,如下图所示, 添加全局DB块,新建几个变量,如下图所示, 在数据块中添加了 tag1 …… tag6 ,共 6 个浮点数类型的变量,用来接收通过 WinCC 从 Excel 文件中读取的数据。 添加 HMI…

Holt-Winters季节性方法

Holt-Winters季节性方法是时间序列预测中一种常用的方法&#xff0c;它通过三次指数平滑处理数据中的趋势和季节性成分。下面将详细解释该方法的原理和步骤&#xff1a; 1. 数据准备 数据收集与整理&#xff1a;首先需要收集和整理时间序列数据&#xff0c;确保数据的准确性和…

什么是pip命令

pip 是 Python 的包管理器&#xff0c;用于安装和管理 Python 包&#xff08;也称为模块或库&#xff09;。Python 包是预编写的 Python 代码&#xff0c;用于执行特定任务&#xff0c;如数据处理、网页开发、科学计算等。通过使用 pip&#xff0c;您可以轻松地安装、升级或卸载…

iOS 语言基础初探 Xcode 工具

iOS&#xff08;iPhone 操作系统&#xff09;是由苹果公司开发的移动操作系统&#xff0c;运行在iPhone、iPad和iPod Touch等设备上。苹果官方推荐使用Objective-C和Swift这两种编程语言来开发iOS应用程序。 Objective-C是一种面向对象的编程语言&#xff0c;也是iOS开发的主要…