Spark Run本地设计模式

现在,许多Spark应用程序已成为遗留应用程序,很难在本地进行增强,测试和运行。

Spark具有很好的测试支持,但仍有许多Spark应用程序不可测试。

当您尝试运行一些旧的Spark应用程序时,我将分享一个常见错误。

Exception in thread "main" org.apache.spark.SparkException: A master URL must be set in your configurationat org.apache.spark.SparkContext.<init>(SparkContext.scala:376)at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2509)at org.apache.spark.sql.SparkSession$Builder$anonfun$6.apply(SparkSession.scala:909)at org.apache.spark.sql.SparkSession$Builder$anonfun$6.apply(SparkSession.scala:901)at scala.Option.getOrElse(Option.scala:121)

当您看到这样的错误时,您有两种选择:

–忘了它不能在本地运行,并继续在这种挫败中工作

–修复它以在本地运行,并向您的团队展示《 童子军规则》的示例

我将展示一个非常简单的模式,它将使您免于受挫。

def main(args: Array[String]): Unit = {val localRun = SparkContextBuilder.isLocalSparkval sparkSession = SparkContextBuilder.newSparkSession(localRun, "Happy Local Spark")val numbers = sparkSession.sparkContext.parallelize(Range.apply(1, 1000))val total = numbers.sum()println(s"Total Value ${total}")}

这段代码使用isLocalSpark函数来决定如何处理本地模式。 您可以使用任何技术来做出该决定,例如env参数或命令行参数或其他任何东西。

一旦知道它在本地运行,就可以基于它创建spark上下文。

现在,此代码可以在本地运行,也可以通过Spark-Submit运行。

快乐的火花测试。

火花应用

此博客中使用的代码可在@runlocal repo中获得

翻译自: https://www.javacodegeeks.com/2019/01/spark-run-local-design-pattern.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/344491.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【渝粤题库】陕西师范大学201771 中国古代文学(一) 作业

《中国古代文学&#xff08;一&#xff09;》作业 一、单选题&#xff08;共30小题&#xff0c;每题2分&#xff0c;共60分&#xff09; 1、先秦以“笔法”、“微言大义”著称于世的史书是&#xff08; &#xff09; A《尚书》 B《国语》 C《春秋》 D《战国策》 2、汉代“四家诗…

mave本地导入mysql的jar包_将本地的jar包引入到maven项目中

首先进入到maven的目录下&#xff0c;并且将要引入的jar包也放在这个目录下然后执行命令mvn install:install-file -DfilecheckDataAdapter-api.jar -DgroupIdorg.cegn.des -DartifactIdcheckDataAdapter-api -Dversion2.0 -Dpackagingjar等到success成功后&#xff0c;在maven…

【渝粤教育】广东开放大学 网页设计与制作 形成性考核 (25)

选择题 题目&#xff1a; 当链接指向下列哪一种文件时&#xff0c;不打开该文件&#xff0c;而是提供给浏览器下载&#xff1f;( ) 答案&#xff1a;看左侧 题目&#xff1a; 若要获得名为login的表单中名为txtuser的文本输入框的值&#xff0c;以下获取方法中&#xff0c;正…

mysql导入创建表空间_oracle创建表空间 导入数据库

oracle2 然后是创建表空间创建表空间需要创建两个一个临时表空间 一个表空间--创建表空间create tablespace abc datafile ‘D:\tablespce\LANDHIGH_SFTMS.dbf‘ size 500m;--创建用户并指定表空间create user admin identified by admin default tablespace abc quota 500m …

【渝粤教育】广东开放大学 软件工程 形成性考核 (50)

选择题 题目&#xff1a; 关于协作图的描述&#xff0c;下列哪个不正确&#xff08;&#xff09; 题目&#xff1a;多对象是UML哪个视图中的概念&#xff08; &#xff09;。 题目&#xff1a;在UML中&#xff0c;接口有几种表达方式&#xff08;&#xff09;。 题目&#xff1…

java集合根据值排序_Java 8:对集合中的值进行排序

java集合根据值排序意识到Java 8将在接下来的几周内发布其GA版本之后&#xff0c;我认为现在是时候来看看它了&#xff0c;在过去的一周里&#xff0c;我一直在阅读Venkat Subramaniam的书 。 我要讲的是第3章&#xff0c;它涉及对人员集合进行排序。 Person类的定义大致如下&…

【渝粤教育】广东开放大学民事诉讼法 形成性考核 (23)

选择题 题目&#xff1a; 调解的双方当事人依照人民调解等法律&#xff0c;自调解协议生效之日起三十日内&#xff0c;可共同向&#xff08; &#xff09;申请司法确认。 答案&#xff1a;看左侧 题目&#xff1a; 根据我国民事诉讼法的规定&#xff0c;当事人可以书面协议选…

【渝粤题库】广东开放大学 建筑制图 形成性考核

选择题 题目&#xff1a;标注坡度可用&#xff08;&#xff09;&#xff0c;百分数&#xff0c;分数等三种形式。 题目&#xff1a;以下哪种工具不属于常用绘图工具()。 题目&#xff1a;H面上产生的投影叫作&#xff08;&#xff09;。 题目&#xff1a;下列关于投影叙述正确的…

Java线程的不同状态

介绍 在Java中&#xff0c;线程可以具有状态。 Thread.State枚举定义Java线程可以具有的不同状态。 该枚举定义了以下值– 新 可运行 已封锁 等候 TIMED_WAITING 已终止 在接下来的部分中&#xff0c;我将简要概述这些状态以及它们之间的可能过渡。 Java线程的状态 新 …

【渝粤题库】广东开放大学 电子商务职业技能 形成性考核

选择题 题目&#xff1a;有形商品在线销售有两种形式&#xff0c;下列有一类与其它不相同的销售形式为 答案&#xff1a; A、一号店 B、优衣库 C、京东商城 D、当当网 题目&#xff1a;&#xff08; &#xff09; 互认识或不认识的消费者联合起来&#xff0c;加大与商家谈…

【渝粤题库】广东开放大学民法 形成性考核

选择题 题目&#xff1a;根据《合同法》的规定&#xff0c;下列合同中哪些属于有名合同&#xff1f; 题目&#xff1a;所谓合同的争议是指哪些争议&#xff1f; 题目&#xff1a;下列合同中&#xff0c;属于诺成合同的是 题目&#xff1a;甲百货商店与乙电视机厂订立买卖合同&a…

java中的双与_java 双冒号是什么操作符?

双冒号::在JDK8的Lambda表达式函数中开始使用&#xff0c;用作方法引用。具体用法&#xff0c;咱们来举个例子&#xff1a;假设有个Person类&#xff1a;public class Person {public enum Sex {MALE, FEMALE}String name;LocalDate birthday;Sex gender;String emailAddress;p…

【渝粤题库】陕西师范大学164104 网络财务管理 作业(高起专)

《网络财务管理》作业 一、选择题 1.财务管理网络化( )了地域限制&#xff0c;提高了信息传输速度&#xff0c;增加了信息的使用价值&#xff0c;降低了企业成本&#xff0c;并促使传统的财务管理演化为网络财务管理。 A.打破 B.连通 C.更新 D.重组 2.拥有雄厚的&#xff08; &…

q7goodies事例_Java 8 Friday Goodies:Lambda和SQL

q7goodies事例在 Data Geekery &#xff0c;我们喜欢Java。 而且&#xff0c;由于我们真的很喜欢 jOOQ的流畅的API和查询DSL &#xff0c;我们对Java 8将为我们的生态系统带来什么感到非常兴奋。 我们已经 写了一些关于Java 8好东西的博客 &#xff0c;现在我们觉得是时候开始一…

【渝粤题库】陕西师范大学180208 产品管理 作业(专升本)

《产品管理》作业 一、单选题 1、产品的内涵不断扩大&#xff0c;产品的外延也发展到产品五层次&#xff0c;最基本的层次是&#xff08; &#xff09;&#xff0c;即向消费者提供的产品基本效用和利益&#xff0c;也是消费者真正要购买的利益和服务。 A 期望产品 B 一般产品 C…

【渝粤题库】陕西师范大学200221 中国思想史 作业(高起专)

一、单选题 "性善论"是谁提出来的&#xff1f; A老子 B孟子 C孔子 D庄子 2 &#xff08;&#xff09;&#xff08;公元240~248年&#xff09;是魏齐王曹芳的年号。 A建元 B元光 C元平 D正始父义、母慈、兄友、弟恭、子孝五种美德合称&#xff1f; A五义B 五则C五典 …

IDE日志分析方法pt。 2

介绍 在第一部分中&#xff0c;我解释了日志分析的理论方法&#xff0c;我认为这对维持工程师是最合适的。 这位工程师不需要在日志出现时立即对其进行分析&#xff0c;而是专注于对复杂问题的深入分析。 在第二部分中&#xff0c;我将展示一个复杂的模板可以涵盖许多搜索场景&…

【渝粤题库】陕西师范大学200821 课程与教学论(计算机)

《课程与教学论》作业 一、选择题 1&#xff0e;教师应有高尚的思想道德和渊博的知识及教育能力&#xff0c;还必须具备良好的心理素质。下面不属于教师心理素质方面的是&#xff08; &#xff09;。 A&#xff0e;意志 B&#xff0e;自我意识 C&#xff0e;情绪 D&#xff0e;…

java电影票选座_jQuery实现电影票选座效果手机端代码

部分js代码//判断页面加载完成window.onload function () {if (document.readyState "complete") {$("body").show();}};var arr []; //已选座位数组var dj 99; //电影票单价 number$(".danjia").text(dj);/*遍历检查售票状态typ 0 可选typ …

【渝粤题库】陕西师范大学201571金融法作业(专升本)

《金融法》作业 一、单项选择题 1&#xff0e;下列银行中属于政策性银行的有&#xff08; &#xff09;。 A.中国人民银行 B.中国农业银行 C.浦东发展银行 D.中国进出口银行 2&#xff0e;中央银行的职能不包括&#xff08; &#xff09;。 A.发行的银行 B.储户的银行 C.银行的…