设置maven 参数调休_IDEA 使用 Maven构建Spark项目

上一篇讲了普通构建spark项目 这次分享用Maven构建Spark项目,中间遇到了很多坑!其根本原因是Scala 与 Spark的版本不一致!

本次环境:

Java1.8

Scala 2.11.8

Spark spark-2.1.0-bin-hadoop2.6.tgz

新建Maven项目

be826da454facbcb14a8bc6a87933216.png

图1.选择顺序

668ad1422a67d9f93a83656760dc9054.png

图2.随便写点什么

接下来就是选取Maven环境的选取,简单的说一下。

如果你电脑上装了Maven 并且IDEA运行过Maven项目,则会默认给你带出来你以前配置的环境参数。 这里我对Spark项目单独建立了一个依赖文件夹下图E://M2//Repository3(个人喜欢而已)

5cf286060c2433874e456e4d1818060f.png

图3.配置Maven环境

3451ac066bfe868b90f06750949fec08.png

图4.给项目命名

ab1fd1bce50730ab914b24dc0ffa6753.png

图5.等待2分钟

847eca2c15d18d08e04af2cfb1fce83a.png

图6.更改Scala版本

 org.apache.hadoop hadoop-common 2.6.0org.apache.hadoop hadoop-hdfs 2.6.0org.apache.spark spark-core_2.11 2.1.0org.apache.spark spark-sql_2.11 2.1.0org.apache.spark spark-hive_2.11 2.1.0org.apache.spark spark-streaming_2.11 2.1.0org.apache.spark spark-mllib_2.11 2.1.0com.databricks spark-avro_2.10 2.0.1

然后将上处常用的依赖加入pom文件中

c8261cb92fd170fdf9c6b3d3d605553a.png

图7.刷新依赖

上述的过程可能会有点慢,不过没关系我这边有阿里的Maven库镜像配置只需要将以下代码Copy到Maven安装目录下的setting文件中替换mirrors对应的位置就OK,这样下载任何依赖都是非常的快!!!

public

public-group-RELEASE

https://maven.aliyun.com/repository/public/

*

jcenter

jcenter-proxy-RELEASE

https://maven.aliyun.com/repository/jcenter/

*

spring

spring-proxy-RELEASE

https://maven.aliyun.com/repository/spring/

*

spring-plugin

spring-plugin-proxy-RELEASE

https://maven.aliyun.com/repository/spring-plugin/

*

google

google-proxy-RELEASE

https://maven.aliyun.com/repository/google/

*

central

central-proxy-RELEASE

https://maven.aliyun.com/repository/central/

*

grails-core

grails-core-proxy-RELEASE

https://maven.aliyun.com/repository/grails-core/

*

mapr-public

mapr-public-proxy-RELEASE

https://maven.aliyun.com/repository/mapr-public/

*

apache snapshots

apache snapshots-proxy-SNAPSHOT

https://maven.aliyun.com/repository/apache-snapshots/

*

gradle-plugin

gradle-plugin-proxy-RELEASE

https://maven.aliyun.com/repository/gradle-plugin/

*

releases

releases-hosted-RELEASE

https://maven.aliyun.com/repository/releases/

*

snapshots

snapshots-hosted-SNAPSHOT

https://maven.aliyun.com/repository/snapshots/

*

jboss-public-repository-group

JBoss Public Repository Group

http://repository.jboss.org/nexus/content/groups/public

*

429f2a81c906a7c72979a7996b58a4b9.png

图8.卡主了

有时IDEA会卡在这里,关闭重新打开就好

6190af59194e254da24690d68fcb968d.png

图9.删除插件

上面有个插件始终下载不下来,就删了它,我们也没有用它。然后再刷新Maven就没有错误了。

a697a0c84667af60eccf12d1c140c2bd.png

图10.删除默认创建的APP.Object

7d96a57c74e579bcbebe44fa3b381944.png

图11.创建Test.Object顺序

15afb028a736e72e58eee1a12b532550.png

图12.创建Test.Object

7ada57574b658605f7a55a417055b252.png

代码

f5b7e328138ab04339fb0d62fff5c0ac.png

图13.设置Artifacts

06b5afe5473f390092338371cb548cb5.png

图14.设置入口参数

b9704008993a9764dce043737b405258.png

图15.设置运行参数配置

dc78c0f6606076227c5982ed0b3fcac5.png

图14.选择Application

尝试运行

35e0139b4e3c986d8ca90bddb365ba7d.png

图15.点击运行报错

报错,我们把Test整个文件夹删掉。

再次运行

596e80031eb332f9f836c5836f738482.png

图16.成功运行

有需要文件or技术支持的请私信。

谢谢~~~

下班~~~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/525749.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

语音识别现状与工程师必备技能

作者 | 陈孝良 责编 | 胡永波 目前来看,语音识别的精度和速度比较取决于实际应用环境,在安静环境、标准口音、常见词汇上的语音识别率已经超过95%,完全达到了可用状态,这也是当前语音识别比较火热的原因。 随着技术的发展&#xf…

从来不敷面膜的人_女人睡觉前,敷面膜洗还是不洗?很多人都做错了,难怪皮肤总不好...

敷面膜是众多女孩子在晚上都会进行的一个护肤工作,大家都知道像一些明星几乎是每天都要敷一片面膜的,不过她们是因为长期话大浓妆才比较勤,我们一般工作的女孩子大约一周三次就可以了。面膜可以让我们的皮肤迅速吸收水分和营养,这…

智慧气象机器_智慧电缆隧道火热建设中 传感器+机器人成标配

智慧城市是指利用各种信息技术或创新概念,将城市的系统和服务打通、集成,以提升资源运用的效率,优化城市管理和服务,以及改善市民生活质量。它把新一代信息技术充分运用在城市中各行各业基于知识社会下一代创新(创新2.0)的城市信息…

算法代码中的循环矩阵在哪体现_「Machine Learning 学习小结」| 向量在梯度下降算法当中的应用...

写在前面:在之前的文章当中提到过,学习梯度下降算法,可能需要一点点线性代数的知识。在本篇文章当中,我们的讨论就涉及到了向量。笔者也曾提到,不妨把向量看成对数据进行批量操作的一种工具,这样可能对我们…

计算机用户 图片存储位置,手机相册在哪个文件夹,详细教您手机图片存放在哪里...

现在使用手机的用户是越来越多了,手机质量都非常好,因此才会受到许多人的褒奖。不过有用户却遇到了,用手机拍摄了照片或者用手机截图,手机连上电脑后,却在电脑上找不到图片,怎么办,下面&#xf…

揭秘京东文件系统JFS的前世今生,支持双11每秒约10万个对象同时读写

背景 作为一家大规模的自营式电商企业,京东需要存储海量的非结构化数据:商品图片、订单文本、仓库流转记录、App客户端文件、日志文件、内部文档等。对于存储这些数据,之前并没有统一的解决方案,都是各个业务线自行解决——MySQL …

计算机的复数英语怎么读,英语的复数怎么读

目录1.土豆的复数英语怎么读1.英语中的月份的复数 怎么读 读音? months 最后两个辅音,是否可以省略一个。2.在清辅音后,读/s/,如books, 在浊辅音和元音后,读/z/,如dogs,boys 当然。3.名词复数词尾的读音:1)…

java map清除值为null的元素_Java中的集合框架大总结

直接上图:从上面的集合框架图可以看到:Java集合框架主要包括两种类型的容器,一种是集合(Collection),存储一个元素集合;另一种是图(Map),存储键/值对映射。Collection接口又有两个子接口,List和…

土木转计算机 但计算机学院不好,土木妹子转计算机,较高三维水科研,求指导!...

2016-12-15velvetvalley个人情况当前阶段大四本科院校某中流985,top30本科专业土木,辅修计算机GPA土木91.6/100,10/111;计算机88.4/100,1/23GRE/GMAT3284语言成绩109目标专业计算机科学计划留学年份:2017秋季个人背景:一个水国创,…

关于计算机软件系统分类能够匹配的有,以下关于计算机软件系统分类能够匹配的有:...

摘要:关于够匹比低高强钢筋筋的极限度钢大强度应变拉伸。统分变异系数主观权是一种法赋赋权法。关于够匹对第的说确的物流法正三方是(。...关于够匹比低高强钢筋筋的极限度钢大强度应变拉伸。最大区边压应缘力在受压,计算机软件系破坏截面梁正适筋受弯时…

开关 关闭_无论用什么品牌手机,这个开关要关闭,以免耗电又卡顿,抓紧试试...

各位观众老爷大家好,给大家鞠个躬,每天给大家分享实用的生活小妙招。现在我们的工作生活中已经离不开手机,平时用久了手机卡顿不流畅,耗电也会随之增加,其实有可能是没有把这几个开关关闭,今天和大家分享一…

卷积神经网络中十大拍案叫绝的操作

来源 | 知乎作者 | Professor hoCNN从2012年的AlexNet发展至今,科学家们发明出各种各样的CNN模型,一个比一个深,一个比一个准确,一个比一个轻量。我下面会对近几年一些具有变革性的工作进行简单盘点,从这些充满革新性的…

提高代码可读性的10个技巧

在本文中,作者从注释,缩进,代码分组,命名方式等方面,介绍了10个提高代码可读性的技巧,供读者学习和借鉴。 以下为译文:如果你的代码很容易阅读,这也会帮助你调试自己的程序&#xff…

内蒙古一级计算机考试时间2015,2017年内蒙古计算机一级考试报名时间

2017年内蒙古计算机一级考试报名时间一级分为DOS版和Windows版,考核应试者计算机基本知识和使用微机系统的初步能力,那么,2017年内蒙古计算机一级考试报名时间是什么时候?一起来看看:2017年内蒙古计算机一级考试报名时…

去掉数组最后一个元素_leetcode 34. 在排序数组中查找元素的第一个和最后一个位置每天刷一道leetcode算法系列!...

作者:reed,一个热爱技术的斜杠青年,程序员面试联合创始人前文回顾:leetcode1. 两数之和--每天刷一道leetcode系列!leetcode2. 两数相加--每天刷一道leetcode系列!leetcode3. 无重复字符的最长子串--每天刷一…

6个月清洗近千亿条微信支付交易记录,他们要搞什么大事情?

本文转载自腾讯技术工程官方号背景:2013年8月,微信红包上线。2014年春节微信红包引爆社交支付。2015年春晚红包摇一摇,推动微信红包在全国迅速普及。此后,每逢节假日或特殊日子,人们都会自主的兴起发红包,使…

右下角文字如何写_如何提取任意小程序的小程序路径

这几天我在写关于公众号和小程序互通的文章,在公众号跳转小程序的设置中有一个信息绕不过去,那就是小程序路径,对于非开发人员,如何轻松获取小程序路径是本文所讲述的内容本文内容本文通过具体截图文字描述,获取某个小…

基于Docker持续交付平台建设的实践

导读:中国五矿和阿里巴巴联手打造的钢铁服务专业平台五阿哥,通过集结阿里巴巴在大数据、电商平台和互联网产品技术上的优势,为终端用户带来一站式采购体验。本文是五阿哥运维技术团队针对Docker容器技术在如何在持续交付过程中探索和实践&…

计算机课件比赛总结,课件制作比赛活动总结

【www.gz85.com - 投篮比赛活动工作总结】课件制作比赛,是对计算机多媒体等辅助手段的一次检阅,也有力地促进了制作多媒体课件技艺的提高。下面是小编为您整理的“课件制作比赛活动总结”,仅供参考,希望您喜欢!更多详细…

设置pandas显示行数_Pandas这样来设置,做数据分析舒适百倍

在日常使用pandas的过程中,由于我们所分析的数据表规模、格式上的差异,使得同样的函数或方法作用在不同数据上的效果存在差异。而pandas有着自己的一套「参数设置系统」,可以帮助我们在遇到不同的数据时灵活调节从而达到最好的效果&#xff0…