Spark spark-submit 提交应用程序

Spark spark-submit 提交应用程序

Spark支持三种集群管理方式

  • Standalone—Spark自带的一种集群管理方式，易于构建集群。
  • Apache Mesos—通用的集群管理，可以在其上运行Hadoop MapReduce和一些服务应用。
  • Hadoop YARN—Hadoop2中的资源管理器。

注意：
1、在集群不是特别大，并且没有mapReduce和Spark同时运行的需求的情况下，用Standalone模式效率最高。
2、Spark可以在应用间（通过集群管理器）和应用中（如果一个SparkContext中有多项计算任务）进行资源调度。

Running Spark on YARN

cluster mode

./bin/spark-submit --class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 4g \
--executor-memory 2g \
--executor-cores 1 \
lib/spark-examples*.jar \
10

client mode

./bin/spark-submit --class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
--driver-memory 4g \
--executor-memory 2g \
--executor-cores 1 \
lib/spark-examples*.jar \
10

spark-submit 详细参数说明

参数名参数说明
—mastermaster 的地址，提交任务到哪里执行，例如 spark://host:port, yarn, local。具体指可参考下面关于Master_URL的列表
—deploy-mode在本地 (client) 启动 driver 或在 cluster 上启动，默认是 client
—class应用程序的主类，仅针对 java 或 scala 应用
—name应用程序的名称
—jars用逗号分隔的本地 jar 包，设置后，这些 jar 将包含在 driver 和 executor 的 classpath 下
—packages包含在driver 和executor 的 classpath 中的 jar 的 maven 坐标
—exclude-packages为了避免冲突 而指定不包含的 package
—repositories远程 repository
—conf PROP=VALUE指定 spark 配置属性的值， 例如 -conf spark.executor.extraJavaOptions=”-XX:MaxPermSize=256m”
—properties-file加载的配置文件，默认为 conf/spark-defaults.conf
—driver-memoryDriver内存，默认 1G
—driver-java-options传给 driver 的额外的 Java 选项
—driver-library-path传给 driver 的额外的库路径
—driver-class-path传给 driver 的额外的类路径
—driver-coresDriver 的核数，默认是1。在 yarn 或者 standalone 下使用
—executor-memory每个 executor 的内存，默认是1G
—total-executor-cores所有 executor 总共的核数。仅仅在 mesos 或者 standalone 下使用
—num-executors启动的 executor 数量。默认为2。在 yarn 下使用
—executor-core每个 executor 的核数。在yarn或者standalone下使用

Master_URL的值

Master URL含义
local使用1个worker线程在本地运行Spark应用程序
local[K]使用K个worker线程在本地运行Spark应用程序
local使用所有剩余worker线程在本地运行Spark应用程序
spark://HOST:PORT连接到Spark Standalone集群，以便在该集群上运行Spark应用程序
mesos://HOST:PORT连接到Mesos集群，以便在该集群上运行Spark应用程序
yarn-client以client方式连接到YARN集群，集群的定位由环境变量HADOOP_CONF_DIR定义，该方式driver在client运行。
yarn-cluster以cluster方式连接到YARN集群，集群的定位由环境变量HADOOP_CONF_DIR定义，该方式driver也在集群中运行。

区分client，cluster，本地模式

下图是典型的client模式，spark的drive在任务提交的本机上。
spark client 运行模式

下图是cluster模式，spark drive在yarn上。
spark cluster 运行模式

三种模式的比较

Yarn ClusterYarn ClientSpark Standalone
Driver在哪里运行Application MasterClientClient
谁请求资源Application MasterApplication MasterClient
谁启动executor进程Yarn NodeManagerYarn NodeManagerSpark Slave
驻内存进程1.Yarn ResourceManager 2.NodeManager1.Yarn ResourceManager 2.NodeManager1.Spark Master 2.Spark Worker
是否支持Spark ShellNoYesYes

spark-submit提交应用程序示例

# Run application locally on 8 cores(本地模式8核)
./bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master local[8] \/path/to/examples.jar \100
# Run on a Spark standalone cluster in client deploy mode(standalone client模式)
./bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master spark://207.184.161.138:7077 \--executor-memory 20G \--total-executor-cores 100 \/path/to/examples.jar \1000
# Run on a Spark standalone cluster in cluster deploy mode with supervise(standalone cluster模式使用supervise)
./bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master spark://207.184.161.138:7077 \--deploy-mode cluster \--supervise \--executor-memory 20G \--total-executor-cores 100 \/path/to/examples.jar \1000
# Run on a YARN cluster(YARN cluster模式)
export HADOOP_CONF_DIR=XXX
./bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master yarn \--deploy-mode cluster \  # can be client for client mode--executor-memory 20G \--num-executors 50 \/path/to/examples.jar \1000
# Run on a Mesos cluster in cluster deploy mode with supervise(Mesos cluster模式使用supervise)
./bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master mesos://207.184.161.138:7077 \--deploy-mode cluster \--supervise \--executor-memory 20G \--total-executor-cores 100 \http://path/to/examples.jar \1000
# Run a Python application on a Spark standalone cluster(standalone cluster模式提交python application)
./bin/spark-submit \--master spark://207.184.161.138:7077 \examples/src/main/python/pi.py \1000

一个例子

spark-submit \
--master yarn \
--queue root.sparkstreaming \
--deploy-mode cluster \
--supervise \
--name spark-job \
--num-executors 20 \
--executor-cores 2 \
--executor-memory 4g \
--conf spark.dynamicAllocation.maxExecutors=9 \
--files commons.xml \
--class com.***.realtime.helper.HelperHandle \
BSS-ONSS-Spark-Realtime-1.0-SNAPSHOT.jar 500

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/768163.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

STM32微控制器的中断优先级设置对系统性能有何影响？

STM32微控制器的中断优先级设置对系统性能有何影响？

STM32微控制器的中断优先级设置对系统性能有着显著的影响。正确配置中断优先级可以确保关键任务得到及时响应，提高系统的实时性和可靠性。相反，如果中断优先级设置不当，可能会导致系统响应延迟，甚至出现死锁等问题。本文将详细探讨…
阅读更多...
python第三方库的安装，卸载和更新，以及在cmd下pip install安装的包在pycharm不可用问题的解决

python第三方库的安装，卸载和更新，以及在cmd下pip install安装的包在pycharm不可用问题的解决

目录 第三方库pip安装，卸载更新 1.安装： 2.卸载 3.更新 一、第三方库pip安装，卸载更新 1.安装 pip install 模块名 加镜像下载：pip install -i 镜像网址模块名 常用的是加清华镜像，如 pip install -i https://pyp…
阅读更多...
Web前端—浏览器渲染原理

Web前端—浏览器渲染原理

浏览器渲染原理 浏览器渲染原理渲染时间点渲染流水线1. 解析HTML—Parse HTML2. 样式计算—Recalculate Style3. 布局—Layout4. 分层—Layer5. 绘制—Paint6. 分块—Tiling7. 光栅化—Raster8. 画—Draw完整过程 面试题1. 浏览器是如何渲染页面的？2. 什么是 reflow…
阅读更多...
Golang获取音视频时长信息

Golang获取音视频时长信息

文章目录 一、工具简介二、使用golang获取时间长 一、工具简介 这些工具都是与多媒体处理和流媒体相关的开源工具，它们都属于 FFmpeg 多媒体框架。 FFmpeg 是一个用于处理多媒体内容（音频、视频、图像等）的命令行工具。它可以执行各种各样…
阅读更多...
每日一题 --- 两两交换链表中的节点[力扣][Go]

每日一题 --- 两两交换链表中的节点[力扣][Go]

两两交换链表中的节点 题目：24. 两两交换链表中的节点 给你一个链表，两两交换其中相邻的节点，并返回交换后链表的头节点。你必须在不修改节点内部的值的情况下完成本题（即，只能进行节点交换）。 示例 1&a…
阅读更多...
基于Java中的SSM框架实现考研指导平台系统项目【项目源码+论文说明】

基于Java中的SSM框架实现考研指导平台系统项目【项目源码+论文说明】

基于Java中的SSM框架实现考研指导平台系统演示 摘要 应对考研的学生，为了更好的使校园考研有一个更好的环境好好的学习，建议一个好的校园网站，是非常有必要的。提供学生的学习提供一个交流的空间。帮助同学们在学习高数、学习设计、学习统计…
阅读更多...
【boost_search搜索引擎】2.正排索引和倒排索引

【boost_search搜索引擎】2.正排索引和倒排索引

首先，要制作搜索引擎，我们首先要了解，什么是正排索引，什么是倒排索引，这是一个搜索引擎的关键。 1.正排索引 正排索引，其实就是我们的每一个文档，对应一个文档id。 正如vector容器一样&#xf…
阅读更多...
【Docker】常用命令 docker info

【Docker】常用命令 docker info

文章目录 什么是docker info命令基本用法实际示例查看Docker系统信息 输出格式常用选项--format：自定义输出格式-f, --format：指定输出模板文件 总结 在Docker中， docker info命令是用于查看Docker系统信息的主要命令之一。本文将深入探讨 …
阅读更多...
计算机视觉研究方向

计算机视觉研究方向

计算机视觉是一个广泛且快速发展的领域，涵盖了多种研究方向和技术。主要的研究方向包括图像处理、目标检测与识别、图像生成、三维视觉、行为识别、深度学习与计算机视觉、多媒体分析、视频理解、风格化、全向视觉传感器等。这些研究方向和技术不断进步，…
阅读更多...
Python+django+vue开发的家教信息管理系统

Python+django+vue开发的家教信息管理系统

一直想做一款管理系统，看了很多优秀的开源项目但是发现没有合适的。 于是利用空闲休息时间开始自己写了一套管理系统。 功能介绍 平台采用B/S结构，后端采用主流的Pythondjango进行开发，前端采用主流的Vue.js进行开发。 整个平台包括前台和…
阅读更多...
go实现TCP服务器

go实现TCP服务器

package main import ( "fmt" "net" ) func main() { // 监听TCP端口 listener, err : net.Listen("tcp", "localhost:50000") if err ! nil { fmt.Println("Error listening:", err.Error…
阅读更多...
Arduino智能家居

Arduino智能家居

文章目录 一、接线框图1、下载fritzing 二、Arduino IDE 下载三、实现代码 一、接线框图 1、下载fritzing https://github.com/fritzing/fritzing-app/releases打开的软件界面如下： 二、Arduino IDE 下载 官网地址 P.S. 如果upload代码过程中出现cant open de…
阅读更多...
2024年阿里云轻量应用服务器优惠价格_2核2G_2核4G报价

2024年阿里云轻量应用服务器优惠价格_2核2G_2核4G报价

阿里云轻量应用服务器2核2G和2核4G配置优惠价格表，轻量2核2G3M带宽61元一年，轻量2核4G4M带宽165元1年，均不限制月流量，阿里云活动链接 aliyunfuwuqi.com/go/aliyun 活动打开如下图： 阿里云轻量应用服务器价格 61元/年…
阅读更多...
力扣刷题之21.合并两个有序链表

力扣刷题之21.合并两个有序链表

仅做学习笔记之用。 题目： 将两个升序链表合并为一个新的 升序 链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。 示例 1： 输入：l1 [1,2,4], l2 [1,3,4] 输出：[1,1,2,3,4,4]示例 2： 输入&#xf…
阅读更多...
MySQL数据库基本操作（增删改查）与用户授权

MySQL数据库基本操作（增删改查）与用户授权

前言 SQL（Structured Query Language，结构化查询语言）是一种用于管理关系数据库系统的语言。SQL的设计目标是提供一种简单、直观的语言，使得用户可以通过编写SQL语句来处理他们想要的数据和操作。 目录 一、结构介绍 1. 查看信…
阅读更多...
自定义android音频焦点

自定义android音频焦点

接着上一篇音频策略的分析，接下来看下音频焦点 音频焦点机制是Android系统提供的一种约定： 1 播放声音前申请音频焦点，播放结束的时候释放音频焦点， 2 获得焦点才能开始播放，失去音频焦点应该暂停播放或者降低音量 一…
阅读更多...
使用Django实现信号与消息通知系统【第154篇—Django】

使用Django实现信号与消息通知系统【第154篇—Django】

👽发现宝藏 前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。【点击进入巨牛的人工智能学习网站】。 使用Django实现信号与消息通知系统 在Web应用程序中，实现消息通知系统是至关重…
阅读更多...
华为数通 HCIP-Datacom H12-831 题库补充

华为数通 HCIP-Datacom H12-831 题库补充

2024年 HCIP-Datacom（H12-831）最新题库，完整题库请扫描上方二维码，持续更新。 缺省情况下，PIM报文的IP协议号是以下哪一项？ A：18 B：59 C：103 D：9 答案&a…
阅读更多...
从抛硬币试验看概率论的基本内容及统计方法

从抛硬币试验看概率论的基本内容及统计方法

一般说到概率，就喜欢拿抛硬币做例子。大多数时候，会简单认为硬币正背面的概率各为二分之一，其实事情远没有这么简单。这篇文章会以抛硬币试验为例子并贯穿全文，引出一系列概率论和数理统计的基本内容。这篇文章会涉及的有古典概型…
阅读更多...
【jvm】young gc full gc

【jvm】young gc full gc

何时触发YoungGC或FullGC YoungGC的触发时常在发生&#xff0c;当新生代的Eden区满了之后就会触发YoungGC。 FullGC在多个情况下都会被触发&#xff1a; 1、发生Young GC之前进行检查&#xff0c;如果“老年代可用的连续内存空间” < “新生代历次Young GC后升入老年代的对象…
阅读更多...
最新文章

Copyright @ 2022~2023