MapReduce分析NCDC 年气象数据最低温度与最高温度

利用hadoop计算技术对采集的气象数据信息进行处理,主要分两个阶段:mapper阶段和reducer阶段,mapper阶段主要是对日志文件进行按行读取并进行字符串截取,reducer阶段对mapper阶段传过来的数据进行大小比较,最终获取每一年中的最高温度。

具体气象数据的格式可以参考:https://blog.csdn.net/lihuinihao/article/details/38315209

1. 首先将eclipse将MaxTemperature项目打成jar包,并将jar包和气象数据拖拽到虚拟机上。本文中分析的是1941-1950十年间的数据信息,分别存在10个文件中。

2. 在hdfs系统中新建一个名为/inputdata_t的安装目录

     hdfs dfs -mkdir /inputdata_t

3.  将数据集上传到inputdata_t目录下

     hdfs dfs -put ~/桌面/19* /inputdata_t

4. 切换到根目录并对数据进行分析

    cd

    hadoop jar ~/桌面/MaxTemperature.jar MinTemperature /inputdata_t /output/mintemp

    

5. 查看结果

    hdfs dfs -cat /output/mintemp/part-r-00000

6. 下载至本地

    hadoop fs -get /output/mintemp/part-r-00000 /opt/hadoop-2.7.6/tmp/

    ls ../tmp/

7. 删除文件

    hdfs dfs -rm -r /output/mintemp

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/491420.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

非侵入脑机接口新突破!用意念控制光标,连续追踪效果提升5倍

来源:智东西看点:CMU研究人员在使用非侵入式脑机接口开发了第一个成功用意念控制的机械臂,展现了连续追踪和跟踪计算机光标的能力。智东西6月23日消息,卡内基梅隆大学与明尼苏达大学的研究人员在非侵入式机器人设备控制领域取得了…

AI芯片的长征之路:挑战与机遇

来源: 半导体行业观察前言:笔者有幸受邀在六月初北京举行的首届亚洲AI硬件峰会(AI Hardware Summit Asia)上发表了开幕主题演讲,与全世界的AI硬件专家分享了我对行业的一些看法和想法。演讲以英文形式进行,…

make_moons函数

生成半环形数据 sklearn.datasets.make_moons(n_samples100, shuffleTrue, noiseNone, random_stateNone) 参数: n_samples : 整数型, 可选,默认为100,产生的样本点的数量shuffle : 布尔型,可选填 (默认为True),是否…

阿里巴巴罗汉堂发布最关乎人类未来的十大问题

来源:中国新闻网中新网杭州6月25日电 (记者 魏晞)25日,阿里巴巴倡议成立的罗汉堂发布最关乎人类未来的十大问题。200多位来自全球的顶尖学者、政界、企业界负责人应邀在杭州“西湖论剑”,闭门研讨十大问题,其中包括6位诺贝尔经济学…

Drive.ai轰然倒下:曾估值两亿,吴恩达夫妇站台,苹果将接盘部分可用技术人才...

来源:大数据文摘曾经估值两个亿美元,吴恩达夫妇亲自站台,风极一时的无人车创业公司Drive.ai轰然倒塌。本月20日,总部位于加州山景城的 Drive.ai 公司被证实已经向一家州政府机构递交了通知,表明即将关闭,并…

PyMC3实现贝叶斯神经网络

转自https://blog.csdn.net/jackxu8/article/details/71308390#commentBox 源地址https://docs.pymc.io/notebooks/bayesian_neural_network_advi.html PyMC3中的贝叶斯深网络 生成数据 产生一个简单的线性不可分的二分类问题的模拟数据。 %matplotlib inline import pymc…

Dynamics CRM 开启图表的3D效果展示

CRM中的图表在我们的业务场景中用的很多,用户可以根据自己的实际需求来构建图表查看数据。我们平时看到的图表都是平面的,像下图中的这种,那有没有一种方式可以让展示3D效果看起来更立体呢,答案是可以的。 这里就以上面的图表为例…

“CRISPR婴儿”计划疯狂重启 顶级科学家们表示无力阻止

来源: 生物通新的“CRISPR婴儿”计划启动,顶级科学人士感到震惊,却表示他们无力阻止它6月10日,俄罗斯分子生物学家Denis Rebrikov表示计划开展基因编辑婴儿实验,并公开了他将跨越“红线”的研究计划。两位有影响力的学…

PyMC3和Lasagne构建神经网络(ANN)和卷积神经网络(CNN)

转自http://www.sohu.com/a/162460147_505915 源地址https://twiecki.io/blog/2016/07/05/bayesian-deep-learning/ 今天,我们将使用Lasagne构建一个更有趣的模型,这是一个灵活的Theano图书馆,用于构建各种类型的神经网络。你可能知道&…

OpenCV高斯滤波GaussianBlur

图像处理中,常用的滤波算法有均值滤波、中值滤波以及高斯滤波等。 三种滤波器的对比滤波器种类基本原理特点均值滤波使用模板内所有像素的平均值代替模板中心像素灰度值易收到噪声的干扰,不能完全消除噪声,只能相对减弱噪声中值滤波计算模板内…

(附视频) | AI奠基人、美国AI科学家特伦斯谈深度学习​

来源:笑看国际风云特伦斯 谢诺夫斯基(Terrence Sejnowski):世界十大人工智能科学家之一,还是美国仅3位在世的‘四院院士’之一,同时兼任全球人工智能顶级会议NIPS基金会主席。1989年,特伦斯加入…

OpenCV图像金字塔

图像金字塔是图像多尺度表达的一种,是一种以多分辨率来解释图像的有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低,且来源于同一张原始图的图像集合。其通过梯次向下采样获得,直到达到某个终止条件才停止采…

带你深入理解图灵机--天才所在的时代

来源:人机与认知实验室这几年由于区块链的大热,以太坊独特的solidity语言实现智能合约功能,图灵完备这个词走进大家的视线。没有计算机专业知识的同学其实很难理解这个词的意思,其实计算机专业的同学都没有深入理解图灵机&#xf…

用PyMC3进行贝叶斯统计分析(代码+实例)

问题类型1:参数估计 真实值是否等于X? 给出数据,对于参数,可能的值的概率分布是多少? 例子1:抛硬币问题 硬币扔了n次,正面朝上是h次。 参数问题 想知道 p 的可能性。给定 n 扔的次数和 h …

华为: 即将发布5G+VR的颠覆式智能眼镜

来源:VR每日必看6月27日MWC19上海期间,华为手机业务总裁何刚在全球终端峰会发表演讲,提及华为终端在5G时代的全场景战略是“18N”。“1”就是华为手机,“8”则囊括了TV、平板、PC、耳机、车机、手表、眼镜、音响八项终端产品&…

OpenCV的数据类型——基础数据类型

OpenCV有很多数据类型,从组织结构的角度来看,OpenCV的基础类型类型主要分为三类。第一类是直接从C原语中继承的基础数据类型;第二类是辅助对象;第三类是大型数据类型。本文主要介绍OpenCV的基础数据类型。 目录 Point类 Scalar…

Cell:重大突破!三位学术大咖,打造全新“DNA显微镜”

来源:中国生物技术网传统上,科学家们使用光、X射线和电子来观察组织和细胞的内部。如今,科学家们能够在整个大脑中追踪线状的神经纤维,甚至可以观察活的小鼠胚胎如何产生原始心脏中的跳动细胞。但是这些显微镜无法看到的是&#x…

Science Robotics近日刊登CMU重大突破,无需手术,普通人就能用意念操控机械臂!...

来源:机器人大讲堂导读顶尖学术期刊《科学》旗下的Science Robotics本月19号刊登了脑机接口(BCI)领域的一项突破成果。美国卡内基梅隆大学的贺斌教授带领其研究团队与明尼苏达大学合作,成功开发出第一款非侵入式的意念控制机械臂&…

一文读懂全球自动驾驶传感器市场格局!

来源:智驾未来自动驾驶汽车作为汽车未来的重要发展方向,成为汽车零部件产业链的重要增长点。国内外的汽车零部件供应商积极布局自动驾驶传感器领域,在车载摄像头、毫米波雷达和激光雷达三大核心部件,以及产业链上下游的拓展为零部…

MIT对话马斯克:关于自动驾驶、爱和未来世界|厚势汽车

来源:价值中国编译不论是在新能源汽车、私人航空航天、共通交通、还是在人工智能领域,埃隆马斯克天马行空的创想和脚踏实地的奋斗让人震惊不已。简直就是一个活着得的非物质文化遗产。马斯克在全球范围内收割了无数粉丝。不论是企业家、工程师、科技研究…