MR实战：分科汇总求月考平均分

文章目录

  • 一、实战概述
  • 二、提出任务
  • 三、完成任务
    • （一）准备数据
      • 1、在虚拟机上创建文本文件
      • 2、上传文件到HDFS指定目录
    • （二）实现步骤
      • 1、创建Maven项目
      • 2、添加相关依赖
      • 3、创建日志属性文件
      • 4、创建学生实体类
      • 5、创建科目平均分映射器类
      • 6、创建科目平均分归并器类
      • 7、创建科目平均分驱动器类
      • 8、启动应用，查看结果

一、实战概述

  • 在本次实战中，我们将利用Hadoop MapReduce处理学生月考成绩数据，目标是计算每个同学语文、数学和英语的平均分。通过启动Hadoop服务、准备数据、创建Maven项目以及实现Mapper、Reducer和Driver类，我们将深入实践大数据处理流程。此任务将帮助我们理解MapReduce的工作原理，并提升大数据分析能力。一起来探索分布式计算的力量，揭示隐藏在海量数据中的学习表现趋势。

  • 我们首先启动Hadoop服务，并在虚拟机上创建包含语文、数学、英语成绩的文本文件chinese.txt、math.txt和english.txt。然后，我们将这三个文件上传到HDFS的/subjectavg/input目录。

  • 接下来，我们通过Maven创建一个名为SubjectAvg的项目，并添加hadoop和junit依赖。在项目中，我们创建了日志属性文件log4j.properties以配置日志输出。

  • 为了处理数据，我们创建了学生实体类Student，该类实现了Writable接口，以便在Mapper和Reducer中使用。在Student类中，我们定义了姓名、语文、数学和英语成绩的属性以及相关的getter和setter方法。

  • 我们还创建了科目平均分映射器类SubjectAvgMapper，该类继承自Mapper<LongWritable, Text, Text, Student>。在map方法中，我们获取文件切片对象以确定读取的是哪个科目成绩文件，然后解析输入行并创建Student对象，根据科目设置相应的成绩。

  • 科目平均分归并器类SubjectAvgReducer继承自Reducer<Text, Student, Text, Student>。在reduce方法中，我们遍历学生迭代器，累加各科成绩，然后计算平均分并更新Student对象。

  • 最后，我们创建了科目平均分驱动器类SubjectAvgDriver，在其中设置了作业的相关配置，包括Mapper类、Reducer类、输入路径和输出路径。通过运行此驱动器类，我们可以得到每个同学各科的平均分。

二、提出任务

  • 语文月考成绩 - chinese.txt
1 张晓云 89
2 张晓云 73
3 张晓云 67
4 张晓云 70
5 张晓云 79
6 张晓云 87
7 张晓云 99
8 张晓云 83
9 张晓云 97
10 张晓云 92
11 张晓云 67
12 张晓云 86
1 王东林 49
2 王东林 83
3 王东林 67
4 王东林 49
5 王东林 93
6 王东林 87
7 王东林 65
8 王东林 92
9 王东林 60
10 王东林 94
11 王东林 81
12 王东林 90
1 李宏宇 77
2 李宏宇 66
3 李宏宇 89
4 李宏宇 87
5 李宏宇 96
6 李宏宇 79
7 李宏宇 87
8 李宏宇 96
9 李宏宇 69
10 李宏宇 87
11 李宏宇 96
12 李宏宇 79
  • 数学月考成绩 - math.txt
1 张晓云 79
2 张晓云 83
3 张晓云 77
4 张晓云 90
5 张晓云 89
6 张晓云 67
7 张晓云 89
8 张晓云 93
9 张晓云 90
10 张晓云 82
11 张晓云 77
12 张晓云 96
1 王东林 78
2 王东林 94
3 王东林 76
4 王东林 70
5 王东林 90
6 王东林 83
7 王东林 85
8 王东林 82
9 王东林 84
10 王东林 78
11 王东林 99
12 王东林 93
1 李宏宇 86
2 李宏宇 81
3 李宏宇 76
4 李宏宇 93
5 李宏宇 88
6 李宏宇 82
7 李宏宇 81
8 李宏宇 93
9 李宏宇 86
10 李宏宇 90
11 李宏宇 67
12 李宏宇 88
  • 英语月考成绩 - english.txt
1 张晓云 78
2 张晓云 83
3 张晓云 92
4 张晓云 66
5 张晓云 82
6 张晓云 89
7 张晓云 79
8 张晓云 68
9 张晓云 96
10 张晓云 91
11 张晓云 87
12 张晓云 82
1 王东林 69
2 王东林 86
3 王东林 73
4 王东林 99
5 王东林 67
6 王东林 95
7 王东林 74
8 王东林 92
9 王东林 76
10 王东林 88
11 王东林 92
12 王东林 56
1 李宏宇 88
2 李宏宇 78
3 李宏宇 92
4 李宏宇 78
5 李宏宇 89
6 李宏宇 76
7 李宏宇 92
8 李宏宇 75
9 李宏宇 88
10 李宏宇 92
11 李宏宇 97
12 李宏宇 85
  • 统计每个同学各科月考平均分
张晓云	Student{name='张晓云', chinese=82.4, math=84.3, english=82.8}
李宏宇	Student{name='李宏宇', chinese=84.0, math=84.2, english=85.8}
王东林	Student{name='王东林', chinese=75.8, math=84.3, english=80.6}

三、完成任务

（一）准备数据

  • 启动hadoop服务
    在这里插入图片描述

1、在虚拟机上创建文本文件

  • 创建subjectavg目录，在里面创建chinese.txt文件（数据没有显示全）
    在这里插入图片描述
  • 创建math.txt（数据没有显示全）
    在这里插入图片描述
  • 创建english.txt（数据没有显示全）
    在这里插入图片描述

2、上传文件到HDFS指定目录

  • 创建/subjectavg/input目录，执行命令：hdfs dfs -mkdir -p /subjectavg/input
    在这里插入图片描述
  • 将文本文件chinese.txt、math.txt与english.txt，上传到HDFS的/subjectavg/input目录
    在这里插入图片描述

（二）实现步骤

1、创建Maven项目

  • Maven项目 - SubjectAvg
    在这里插入图片描述
  • 单击【Finish】按钮

2、添加相关依赖

  • 在pom.xml文件里添加hadoop和junit依赖
<dependencies>                                      <!--hadoop客户端-->                                <dependency>                                    <groupId>org.apache.hadoop</groupId>        <artifactId>hadoop-client</artifactId>      <version>3.3.4</version>                    </dependency>                                   <!--单元测试框架-->                                   <dependency>                                    <groupId>junit</groupId>                    <artifactId>junit</artifactId>              <version>4.13.2</version>                   </dependency>                                   
</dependencies>

3、创建日志属性文件

  • 在resources目录里创建log4j.properties文件
    在这里插入图片描述
log4j.rootLogger=INFO, stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/subjectavg.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

4、创建学生实体类

  • 在net.hw.mr包里创建Student类
    在这里插入图片描述
  • 注意：学生实体类必须实现Writable接口，才能作为Mapper和Reducer的输出值类型
package net.hw.mr;import org.apache.hadoop.io.Writable;import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;/*** 功能：学生实体类* 作者：华卫* 日期：2022年12月05日*/
public class Student implements Writable {private String name;private double chinese;private double math;private double english;public String getName() {return name;}public void setName(String name) {this.name = name;}public double getChinese() {return chinese;}public void setChinese(double chinese) {this.chinese = chinese;}public double getMath() {return math;}public void setMath(double math) {this.math = math;}public double getEnglish() {return english;}public void setEnglish(double english) {this.english = english;}public void write(DataOutput dataOutput) throws IOException {dataOutput.writeUTF(name);dataOutput.writeDouble(chinese);dataOutput.writeDouble(math);dataOutput.writeDouble(english);}public void readFields(DataInput dataInput) throws IOException {name = dataInput.readUTF();chinese = dataInput.readDouble();math = dataInput.readDouble();english = dataInput.readDouble();}@Overridepublic String toString() {return "Student{" +"name='" + name + '\'' +", chinese=" + chinese +", math=" + math +", english=" + english +'}';}
}

5、创建科目平均分映射器类

  • 在net.hw.mr包里创建SubjectAvgMapper类
    在这里插入图片描述
  • 由于MR程序读取/subjectavg/input目录里的三个科目成绩文件，在Mapper获取文件切片时就要区分读取的是哪一个文件，可以通过context的getInputSplit()方法获得文件切片对象，由此可以获取该切片对应的文件名，从而知道读取的是哪一科的成绩文件。
package net.hw.mr;import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;import java.io.IOException;/*** 功能：科目平均分映射器类* 作者：华卫* 日期：2022年12月05日*/
public class SubjectAvgMapper extends Mapper<LongWritable, Text, Text, Student> {@Overrideprotected void map(LongWritable key, Text value, Context context)throws IOException, InterruptedException {// 获取文件切片对象（将输入切片强转成文件切片）FileSplit split = (FileSplit) context.getInputSplit();// 获取文件切片对应的文件名String filename = split.getPath().getName();// 拆分行获取成绩数据String line = value.toString();String[] data = line.split(" ");String name = data[1];int score = Integer.parseInt(data[2]);// 创建学生实体Student student = new Student();// 设置姓名属性student.setName(name);// 根据读取文件名来设置相应科目成绩if (filename.contains("chinese")) {student.setChinese(score);} else if (filename.contains("math")) {student.setMath(score);} else if (filename.contains("english")){student.setEnglish(score);}context.write(new Text(name), student);}
}

6、创建科目平均分归并器类

  • 在net.hw.mr包里创建SubjectAvgReducer类
package net.hw.mr;import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;import java.io.IOException;
import java.text.DecimalFormat;/*** 功能：科目平均分归并器类* 作者：华卫* 日期：2022年12月05日*/
public class SubjectAvgReducer extends Reducer<Text, Student, Text, Student> {@Overrideprotected void reduce(Text key, Iterable<Student> values, Context context) throws IOException, InterruptedException {// 创建学生对象Student student = new Student();// 设置姓名属性student.setName(key.toString());// 遍历学生迭代器，累加各科成绩for (Student value : values) {student.setChinese(student.getChinese() + value.getChinese());student.setMath(student.getMath() + value.getMath());student.setEnglish(student.getEnglish() + value.getEnglish());}// 求各科平均分DecimalFormat df = new DecimalFormat("##.#");student.setChinese(Double.parseDouble(df.format(student.getChinese() / 12)));student.setMath(Double.parseDouble(df.format(student.getMath() / 12)));student.setEnglish(Double.parseDouble(df.format(student.getEnglish() / 12)));// 输出处理后的键值对context.write(key, student);}
}

7、创建科目平均分驱动器类

  • 在net.hw.mr包里创建SubjectAvgDriver类
    在这里插入图片描述
package net.hw.mr;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import java.net.URI;/*** 功能：成绩和驱动器类* 作者：华卫* 日期：2022年12月02日*/
public class ScoreSumDriver {public static void main(String[] args) throws Exception {// 创建配置对象Configuration conf = new Configuration();// 设置数据节点主机名属性conf.set("dfs.client.use.datanode.hostname", "true");// 获取作业实例Job job = Job.getInstance(conf);// 设置作业启动类job.setJarByClass(ScoreSumDriver.class);// 设置Mapper类job.setMapperClass(ScoreSumMapper.class);// 设置map任务输出键类型job.setMapOutputKeyClass(Text.class);// 设置map任务输出值类型job.setMapOutputValueClass(IntWritable.class);// 设置Reducer类job.setReducerClass(ScoreSumReducer.class);// 设置reduce任务输出键类型job.setOutputKeyClass(Text.class);// 设置reduce任务输出值类型job.setOutputValueClass(NullWritable.class);// 定义uri字符串String uri = "hdfs://master:9000";// 创建输入目录Path inputPath = new Path(uri + "/scoresum/input");// 创建输出目录Path outputPath = new Path(uri + "/scoresum/output");// 获取文件系统FileSystem fs =  FileSystem.get(new URI(uri), conf);// 删除输出目录（第二个参数设置是否递归）fs.delete(outputPath, true);// 给作业添加输入目录（允许多个）FileInputFormat.addInputPath(job, inputPath);// 给作业设置输出目录（只能一个）FileOutputFormat.setOutputPath(job, outputPath);// 等待作业完成job.waitForCompletion(true);// 输出统计结果System.out.println("======统计结果======");FileStatus[] fileStatuses = fs.listStatus(outputPath);for (int i = 1; i < fileStatuses.length; i++) {// 输出结果文件路径System.out.println(fileStatuses[i].getPath());// 获取文件系统数据字节输入流FSDataInputStream in = fs.open(fileStatuses[i].getPath());// 将结果文件显示在控制台IOUtils.copyBytes(in, System.out, 4096, false);}}
}

8、启动应用，查看结果

  • 运行SubjectAvgDriver类
    在这里插入图片描述
    在这里插入图片描述

  • 下载结果文件 - part-r-00000
    在这里插入图片描述

  • 查看结果文件 - part-r-00000
    在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/582681.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

jQuery-1.7.2存在任意文件读取漏洞

jQuery-1.7.2存在任意文件读取漏洞

jQuery是一个快速、简洁的JavaScript框架,是一个丰富的JavaScript代码库&#xff0c;其1.7.2版本的sys_dia_data_down模块存在任意文件读取漏洞&#xff0c;攻击者可通过前台读取任意文件。 1.漏洞级别 高危 2.漏洞搜索 fofa body"webui/js/jquerylib/jquery-1.7.2.m…
阅读更多...
git的常用命令以及在可视化工具中的使用方法

git的常用命令以及在可视化工具中的使用方法

一.引言 想当初在刚进公司的时候&#xff0c;对于git的使用非常不熟悉&#xff0c;特别是分支的概念&#xff0c;导致开发效率变低&#xff0c;故通过此文章&#xff0c;总结git的使用经验 二.Git 常用命令详解 2.1 git clone [url]: 克隆远程仓库到本地 刚开始时&#xff0c…
阅读更多...
MySQL按月分片

MySQL按月分片

一、按照月分片 使用场景为按照自然月来分片，每个自然月为一个分片，但是一年有12个月，是不是要有12个数据节点才行呢？并不是。例如我现在只有三个分片数据库，这样就可以1月在第一个数据分片中，2月在第二个数据分片中，3月在第三个数据分片中，当来到4月的时候，就会重新开…
阅读更多...
redis的搭建及应用(二)-redis的持久化策略

redis的搭建及应用(二)-redis的持久化策略

Redis的持久化策略 RDB RDB持久化是指在指定的时间间隔内将redis内存中的数据集快照写入磁盘&#xff0c;实现原理是redis服务在指定的时间间隔内先fork一个子进程&#xff0c;由子进程将数据集写入临时文件&#xff0c;写入成功后&#xff0c;再替换之前的文件&#xff0c;用二…
阅读更多...
istio 示例程序 bookinfo 快速部署

istio 示例程序 bookinfo 快速部署

官网 文档位置 相关 yaml 资源下载 Bookinfo 应用分为四个单独的微服务&#xff1a; productpage&#xff1a;这个微服务会调用 details 和 reviews 两个微服务&#xff0c;用来生成页面details&#xff1a;这个微服务中包含了书籍的信息reviews&#xff1a;这个微服务中包含了…
阅读更多...
开源元数据治理平台Datahub部署指南(小白版)

开源元数据治理平台Datahub部署指南(小白版)

1.引言 datahub是做什么的&#xff0c;这里就不展开描述了&#xff0c; 如果想了解更多请自行阅读DataHub官网文档&#xff0c; 这里主要教大家如何一步一步安装然后100%部署完成。一般开源产品的文档都是被大家吐槽的最多的&#xff0c;部署步骤写的非常简单&#xff0c;重要…
阅读更多...
oracle与mysql的分析函数(窗口函数)

oracle与mysql的分析函数(窗口函数)

分析函数定义 在SQL语句中&#xff0c;很多查询语句需要进行GROUP BY分组汇总&#xff0c;但是一旦经过分组&#xff0c;SELECT返回的记录数就会减少。为了保留所有原始行记录&#xff0c;并且仍可以进行分组数据分析&#xff0c;分析函数应运而生。 Oracle 8i 版本开始支持窗…
阅读更多...
代码随想录-刷题第三十九天

代码随想录-刷题第三十九天

动态规划理论基础 动态规划的题目由重叠子问题构成&#xff0c;每一个状态一定是由上一个状态推导出来的。这一点就区分于贪心&#xff0c;贪心没有状态推导&#xff0c;而是从局部直接选最优的。 动态规划五步曲 确定dp数组&#xff08;dp table&#xff09;以及下标的含义…
阅读更多...
Matlab：非线性规划

Matlab：非线性规划

1、语法&#xff1a; xfmincon(fun,x0,A,b) xfmincon(fun,x0,A,b,Aeq,beq) xfmincon(fun,x0,A,b,Aeq,beq,lb,ub) xfmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon) xfmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon,options) xfmincon(problem) [x,fval]fmincon(___) [x,fval,exitflag,…
阅读更多...
边缘检测——PidiNet网络训练自己数据集并优化推理测试（详细图文教程）

边缘检测——PidiNet网络训练自己数据集并优化推理测试（详细图文教程）

PiDiNet 是一种用于边缘检测的算法&#xff0c;它提出了一种简单、轻量级但有效的架构。PiDiNet 采用了新 颖的像素差卷积&#xff0c;将传统的边缘检测算子集成到现代 CNN 中流行的卷积运算中&#xff0c;以增强任务性能。 在 BSDS500、NYUD 和 Multicue 上进行了大量的实验…
阅读更多...
小米路由器2(R2D) 安装 MIXBOX

小米路由器2(R2D) 安装 MIXBOX

1. 先刷开发版 ROM http://www1.miwifi.com/miwifi_download.html 进入上述网页&#xff0c;找到 R2D 点击下载 开发版 ROM 教程 看 下载按钮上边的 “刷机教程” 刷机教程 2. 开启SSH工具 登录自己的小米账号后&#xff0c;里面会显示出 自己的 root密码&#xff1b; 默认…
阅读更多...
『JavaScript』JavaScript事件类型详解：全面解析各类用户交互行为

『JavaScript』JavaScript事件类型详解：全面解析各类用户交互行为

&#x1f4e3;读完这篇文章里你能收获到 理解事件驱动编程的基本概念和工作原理掌握JavaScript中常见的事件类型及其应用场合学习如何使用DOM API添加和移除事件监听器探讨事件冒泡、事件捕获和事件委托等高级事件处理技术 文章目录 一、事件处理程序1. HTML事件处理HTML事件处…
阅读更多...
Springboot拦截器及统一异常处理

Springboot拦截器及统一异常处理

文章目录 一、Java中异常相关概念1、异常类2、异常处理方法3、注意事项4、自定义异常 二、配置全局异常处理1、统一返回体定义2、定义异常处理实现类3、全局异常处理类 三、Springboot拦截器1、定义拦截器2、注册拦截器 四、验证效果 一、Java中异常相关概念 1、异常类 Throw…
阅读更多...
Armpro脱壳软件搭建教程附源代码

Armpro脱壳软件搭建教程附源代码

PHP8.0版本&#xff0c;数据库8.0版本 1.配置注册机文件&#xff0c;打开将arm.zip/res目录下&#xff0c;mt管理器搜索将其全部修改为你自己的域名或者是服务器IP 2.然后建立数据库 数据库账号arm 数据库用户名arm 数据库密码EsZfXY4tD3h2NNA4 3.导入数据库 4.配置Redi…
阅读更多...
[每周一更]-(第44期)：GIT版本控制之忽略文件

[每周一更]-(第44期)：GIT版本控制之忽略文件

基础概念 在 Git 中&#xff0c;可以通过 .gitignore 文件来指定不需要纳入版本控制的文件或文件夹&#xff0c;这些被忽略的文件或文件夹不会被提交到仓库中。 在项目根目录下创建一个名为 .gitignore 的文件&#xff0c;并在其中列出需要忽略的文件或文件夹。一些常见的示例…
阅读更多...
SASS循环

SASS循环

<template><div><button class"btn type-1">默认按钮</button><button class"type-2">主要按钮</button><button class"type-3">成功按钮</button><button class"type-4">信息…
阅读更多...
企业数据可视化-亿发数据化管理平台提供商，实现一站式数字化运营

企业数据可视化-亿发数据化管理平台提供商，实现一站式数字化运营

近些年来&#xff0c;国内企业数据化管理升级进程持续加速&#xff0c;以物联网建设、人工智能、大数据和5G网络等新技术的发展&#xff0c;推动了数字经济的蓬勃发展&#xff0c;成为维持经济持续稳定增长的重要引擎。如今许多国内中小型企业纷纷摒弃传统管理模式&#xff0c;…
阅读更多...
[卷积神经网络]FCOS--仅使用卷积的Anchor Free目标检测

[卷积神经网络]FCOS--仅使用卷积的Anchor Free目标检测

项目源码&#xff1a; FCOShttps://github.com/tianzhi0549/FCOS/ 一、概述 作为一种Anchor Free的目标检测网络&#xff0c;FCOS并不依赖锚框&#xff0c;这点类似于YOLOx和CenterNet&#xff0c;但CenterNet的思路是寻找目标的中心点&#xff0c;而FCOS则是寻找每个像素点&…
阅读更多...
css中sprite（css精灵）是什么,有什么优缺点

css中sprite（css精灵）是什么,有什么优缺点

概念 将多个小图片拼接到一个图片中 。通过 background-position 和元素尺寸调节需要显示的背景图案。 优点 减少 HTTP 请求数&#xff0c;极大地提高页面加载速度 增加图片信息重复度&#xff0c;提高压缩比&#xff0c;减少图片大小 更换⻛格方便&#xff0c; 只需在一张或…
阅读更多...
六、Redis 分布式系统

六、Redis 分布式系统

六、Redis 分布式系统 六、Redis 分布式系统6.1 数据分区算法6.1.1 顺序分区6.1.2 哈希分区 6.2 系统搭建与运行6.2.1 系统搭建6.2.2 系统启动与关闭 6.3 集群操作6.3.1 连接集群6.3.2 写入数据6.3.3 集群查询6.3.4 故障转移6.3.5 集群扩容6.3.6 集群收缩 6.4 分布式系统的限制…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023