写第一个spark程序（wordcount）

首先启动集群与spark

其次把spark目录下的README.md上传到hdfs

##

进入spark下的bin目录，运行spark-shell

./spark-shell

在这里插入图片描述

运行

 val textFile = sc.textFile("hdfs://chun1:9000/spark/README.md")val wordCounts = textFile.flatMap(line=>line.split(" ")).map(word=>(word,1)).reduceByKey((a,b)=>a+b).coalesce(1,true).saveAsTextFile("hdfs://chun1:9000/spark/out1")

查看执行结果

在这里插入图片描述

查看

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/437651.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【中国版Office 365 应用程序注册】

【中国版Office 365 应用程序注册】

中国版Office 365是由世纪互联进行运营的一个云服务，单纯从技术角度来看的话，它基本保持了与国际版的同步。但是由于两个版本本质上是完全独立的，其中最关键的就是账号系统是分开的，所以从使用角度来看，不管是直接用户…
阅读更多...
Python 中如何解决 asyncio 文件描述符最大数量限制问题

Python 中如何解决 asyncio 文件描述符最大数量限制问题

文章目录问题复现问题分析事件循环 EventLoopI/O 多路复用select 的缺点解决方法1.更换事件循环选择器2.限制并发量3.修改最大文件描述符限制WindowsLinux总结WindowsLinux问题复现 Windows 平台下，Python 版本 3.5，使用异步框架 asyncio，有…
阅读更多...
【转】掀起Azure AD的盖头来——深入理解Microsoft Graph应用程序和服务权限声明

【转】掀起Azure AD的盖头来——深入理解Microsoft Graph应用程序和服务权限声明

引子 这是一篇计划外的文章。我们都知道要进行Microsoft Graph的开发的话，需要进行应用程序注册。这个在此前我已经有专门的文章写过了。但这里存在一个小的问题：国内版的Office 365在申请好之后，并没有像国际版那样，有一个对应的…
阅读更多...
Python3 学习系列 丨 博客目录索引

Python3 学习系列 丨 博客目录索引

整个博客有关 Python 学习目录索引，方便快捷定位查询基础学习篇 Python3 基础学习笔记 C01【变量和简单数据类型】Python3 基础学习笔记 C02【列表】Python3 基础学习笔记 C03【操作列表】Python3 基础学习笔记 C04【if 语句】Python3 基础学习笔记 C05【字典】Pyt…
阅读更多...
【转】日邮物流：实现智慧物流，这个云上对了！

【转】日邮物流：实现智慧物流，这个云上对了！

和阳光、空气、水、网络一样，「物流」早已成为当代企业、个人赖以生存的必要条件。2020第一季度全球物流受疫情影响面临挑战，业内普遍预计全球物流及供应链将重新优化布局。借此时机，物流业纷纷将目光投向“数字化智慧物流”方向，…
阅读更多...
Python 实现十大经典排序算法

Python 实现十大经典排序算法

目录排序算法分类一、冒泡排序（Bubble Sort）1、原理2、步骤3、动画演示4、代码实现5、具体示例二、选择排序（Selection Sort）1、原理2、步骤3、动画演示4、代码实现5、具体示例三、插入排序（Insertion Sort&#xff09…
阅读更多...
【转】Microsoft Graph 桌面应用程序

【转】Microsoft Graph 桌面应用程序

桌面应用程序，在我这篇文章的语境中，我是特指在Windows桌面上面直接运行的.NET应用程序，包括Console Application，WPF Application，Windows Forms Application, UWP Application，并且限于篇幅，我…
阅读更多...
【转】Microsoft Graph Web应用程序极致开发体验

【转】Microsoft Graph Web应用程序极致开发体验

前言 这篇文章最早写于2017年5月2日，当时的想法是从最简单的方式来写如何在一个ASP.NET MVC应用程序中集成Microsoft Graph，但实际上还真不是那么简单，至少我是不满意的，加上这一两周都比较忙，所以这一篇就一直搁置。…
阅读更多...
Spark（idea）操作mysql进行查询和插入 （代码+理解）

Spark（idea）操作mysql进行查询和插入 （代码+理解）

首先在maven中加入配置 <!--mysql--><dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>5.1.27</version></dependency>然后在idea配置数据库 1&#xff09; 查询 //1.查询数…
阅读更多...
【转】在无人值守程序（服务）中调用Microsoft Graph

【转】在无人值守程序（服务）中调用Microsoft Graph

什么是无人值守程序&#xff08;服务&#xff09; 我在此前用了几篇文章分别介绍了在桌面应用程序&#xff08;控制台&#xff09;&#xff0c;Web应用程序&#xff08;ASP.NET MVC&#xff09;&#xff0c;以及PowerSehll脚本中如何访问Microsoft Graph&#xff0c;今天这一篇…
阅读更多...
【转】使用PowerApps快速构建基于主题的轻业务应用 —— 入门篇

【转】使用PowerApps快速构建基于主题的轻业务应用 —— 入门篇

前言 在上一篇文章 基于Office 365的随需应变业务应用平台 中我提到&#xff0c;随着随需应变的业务需要&#xff0c;以及技术的发展&#xff0c;业务应用的开发的模式也有了深刻的变化。基于微软的平台&#xff0c;有服务于主干业务应用的Dynamic 365 业务应用平台&#xff0…
阅读更多...
Spark内核源码学习（暂未学完）

Spark内核源码学习（暂未学完）

1&#xff09; 回顾 1.1 Spark通用运行流程概述 在submit任务条件是需要指定executo个数&#xff0c;executor-CUP个数&#xff0c;可以提高并行度。 什么是并行&#xff0c;什么是并发&#xff1f; 并发&#xff1a;假如有多个任务task&#xff0c;并行是在一个cup中&#x…
阅读更多...
【转】使用PowerApps快速构建基于主题的轻业务应用 —— 进阶篇

【转】使用PowerApps快速构建基于主题的轻业务应用 —— 进阶篇

在上一篇 使用PowerApps快速构建基于主题的轻业务应用 —— 入门篇 中&#xff0c;我用了三个实际的例子演示了如何快速开始使用PowerApps构建轻业务应用&#xff0c;你可能已经发现&#xff0c;我都是使用默认生成的设置&#xff0c;没有做任何修改。当然&#xff0c;那样做出…
阅读更多...
Spark一些组件的定义

Spark一些组件的定义

Driver program: 运行应用程序的main函数并创建SparkContext的进程 除了RDD的最终执行所写的业务逻辑&#xff0c;剩下的都在Driver里生成&#xff0c;Driver端执行action算子才会到开始执行所创建的DAG-RDD图。 Cluster manager&#xff1a; 用于获取集群资源外部服务 Mas…
阅读更多...
【转】D365 FO第三方集成(二)---访问认证(获取访问令牌)

【转】D365 FO第三方集成(二)---访问认证(获取访问令牌)

D365 FO 在github上发布了第三方访问D365 FO的示例代码&#xff0c;里面包含了各种调用示例&#xff0c;代码很清晰。https://github.com/microsoft/Dynamics-AX-Integration 这篇blog简单分析一下代码中获取访问令牌的部分代码。 与获取访问令牌相关的代码有两个类ClientConfi…
阅读更多...
【转】D365 FO第三方集成(三)---服务实现

【转】D365 FO第三方集成(三)---服务实现

D365 FO的Custom Service的实现比AX2012简单了很多。 AX2012服务方法要用属性SysEntryPointAttribute标记&#xff0c;添加到Services以后&#xff0c;还要发布服务并在系统管理入站端口添加操作&#xff0c;服务运行在CIL下&#xff0c;所以每次改动服务方法的代码都要增量生成…
阅读更多...
PHP连接sql seaver数据库

PHP连接sql seaver数据库

我的PHP版本7.0 通过sqlsrv系列函数&#xff0c;需要下载安装Microsoft Drivers for PHP for SQL Server驱动&#xff1a; 地址&#xff1a;https://msdn.microsoft.com/library/dn865013.aspx。 根据自己需求下载安装&#xff0c;安装地址php下ext目录下&#xff0c;我的是4.0…
阅读更多...
NoSql理解+传统关系型数据库ACID+Nosql的CAP+BASE的理解

NoSql理解+传统关系型数据库ACID+Nosql的CAP+BASE的理解

1&#xff09;什么是Nosql NoSQL(NoSQL Not Only SQL )&#xff0c;意即“不仅仅是SQL”&#xff0c; 泛指非关系型的数据库。随着互联网web2.0网站的兴起&#xff0c;传统的关系数据库在应付web2.0网站&#xff0c;特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显…
阅读更多...
ztree 点击重载 layui table

ztree 点击重载 layui table

ztree 点击重载 layui table <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <HTML> <HEAD><TITLE> ztree_demo </TITLE><meta http…
阅读更多...
数据结构与算法 - 稀疏数组（理解+代码实现案例）

数据结构与算法 - 稀疏数组（理解+代码实现案例）

举例 稀疏数组第一行是原数据几行几列和几个有效数据的个数 下面的行是各个有效数组的行列与具体值 稀疏数组实现 代码实现 package DataStructures.sparsearray;/*** 二维数组转稀疏数组 与 稀疏数组转成二维数组*/ public class SparseArray {public static void main(Stri…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023