bigdecimal 平均数_MapReduce实例-必须用Combine--求平均数

本身求平均数很简单的,必须用到combine的话我在两个地方废了很多时间,

一是combine的输入不仅仅是map的输出,还有可能是combine的输出,所以对value的处理得分两种情况吧;

二是结果要保留4位有效数字。。。噗,注意保留4位有效数字不等于小数点后面有四位,第二不能用parse!它只能转成整形。

第三,代码写的实在比较挫,哎。

import java.io.IOException;

import java.math.BigDecimal;

import java.math.MathContext;

import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.DoubleWritable;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class Avg {

public static class Map extends

Mapper

{

protected void map(LongWritable

key, Text value, Context context)

throws

IOException, InterruptedException {

String line =

value.toString();

StringTokenizer

words = new StringTokenizer(line, "\n");

//

对每一行进行分割

while

(words.hasMoreElements()) {

StringTokenizer

tokenizerLine = new StringTokenizer(

words.nextToken());

String

strAlp = tokenizerLine.nextToken();

String

strData = tokenizerLine.nextToken();

Text

alphabet = new Text(strAlp);

Text

score = new Text(strData);

context.write(alphabet,

score);

}

}

}

public static class Combine extends

Reducer

{

//将部分和以及出现次数共同作为value

private Text tmp = new

Text();

public void reduce(Text key,

Iterable values, Context context)

throws

IOException, InterruptedException {

//

统计某字母出现次数和部分和

int sum =

0;

int count =

0;

String[]

val_input = null;

for (Text val

: values) {

if((val_input=val.toString().split(":")).length==2){

sum

+= Integer.parseInt(val_input[0].toString());

count

+=

Integer.parseInt(val_input[1].toString()); }

else{

sum

+= Integer.parseInt(val.toString());

count++;

}

} // 设置value值为部分和以及出现次数

tmp.set(sum +

":" + count);

context.write(key, tmp);

}

}

public static class Reduce extends Reducer

{

private String tmp_sum = new

String();

private String tmp_count = new

String();

public void reduce(Text key,

Iterable values, Context context)

throws IOException, InterruptedException {

int sum_all =

0;

int count_all

=

0; for (Text val

: values) {

String

str_tmp=val.toString();

//将部分和以及出现次数分割,分别求和

int

splitIndex = str_tmp.indexOf(":");

tmp_sum

= str_tmp.substring(0, splitIndex);

tmp_count

= str_tmp.substring(splitIndex+1);

int

int_sum = Integer.parseInt(tmp_sum);

int

int_count =

Integer.parseInt(tmp_count); sum_all

+= int_sum;

count_all += int_count;

} double average = (sum_all * 1.0) / (count_all *

1.0); MathContext mathContext = new MathContext(4);

BigDecimal c = new BigDecimal(average);

BigDecimal aver_final = c.round(mathContext);

double aver_4 = aver_final.doubleValue();

String str_aver = String.valueOf(aver_4);

Text aver = new Text();

aver.set(str_aver);

context.write(key, aver);

}

}

public static void main(String[] args) throws

Exception {

Configuration conf = new

Configuration();

Job job = new Job(conf,

"Avg_use_combine");

job.setJarByClass(Avg.class);

job.setMapperClass(Map.class);

job.setCombinerClass(Combine.class);

job.setReducerClass(Reduce.class);

job.setOutputKeyClass(Text.class);

job.setOutputValueClass(Text.class);

FileInputFormat.addInputPath(job,

new Path(args[0]));

FileOutputFormat.setOutputPath(job,

new Path(args[1]));

System.exit(job.waitForCompletion(true)

? 0 : 1);

}

}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/310148.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

面试官:你不懂六大设计原则,回去等通知吧!

一、前言不知道大家是否有这样的体会,就是在学习设计模式的时候,看了很多书籍,也照着很多示例把每个模式挨个敲了几遍,但过了一段时间后,就会忘了一大半。或者有的朋友尝试在业务编码中使用,却越用越复杂&a…

Dollar Dayz POJ - 3181(动态规划+大数高低位分离输出)

题意:就是给出二个数N,和k,有1~k种钱币,每种都 是无限个,用这些种类的钱币可以组合成总钱N有多少种方式。 解题:这就是一个完全背包,把N看成容量,钱币的类型值为 花费和价值。与记录…

[PAT乙级]1007 素数对猜想

让我们定义d​n​​为&#xff1a;d​n​​p​n1​​−p​n​​&#xff0c;其中p​i​​是第i个素数。显然有d​1​​1&#xff0c;且对于n>1有d​n​​是偶数。“素数对猜想”认为“存在无穷多对相邻且差为2的素数”。 现给定任意正整数N(<10​5​​)&#xff0c;请计…

is this mysql server_Mysql:is not allowed to connect to this MySQL server

如果你想连接你的mysql的时候发生这个错误&#xff1a;ERROR 1130: Host 192.168.1.3 is not allowed to connect to this MySQL server解决方法&#xff1a;1。 改表法。可能是你的帐号不允许从远程登陆&#xff0c;只能在localhost。这个时候只要在localhost的那台电脑&#…

Asp.Net Core Filter 深入浅出的那些事-AOP

一、前言在分享ASP.NET Core Filter 使用之前&#xff0c;先来谈谈AOP,什么是AOP 呢&#xff1f;AOP全称Aspect Oriented Programming意为面向切面编程&#xff0c;也叫做面向方法编程&#xff0c;是通过预编译方式和运行期动态代理的方式实现不修改源代码的情况下给程序动态统…

C++函数模板和普通函数的调用规则

C函数模板和普通函数的调用规则: 普通函数可以进行自动类型转换。 函数模板必须严格类型匹配。 C编译器优先考虑普通函数。 如果函数模板可以产生一个更好的匹配&#xff0c;那么选择模板。 可以通过空模板实参列表的语法限定编译器只能通过模板匹配。 代码如下&#xff…

A Mini Locomotive POJ - 1976(动态规划+思维)

题意&#xff1a;有三个火车头&#xff0c;n个车厢&#xff0c;每个车厢里面对应的有一定的人数。规定每个火车头最多 拉m个连续的车厢而且他们拉的车厢一定是从左到右连续的&#xff0c;问它能够拉的最多的人数&#xff1b; 思路&#xff1a;类似01背包的解法&#xff0c;首先…

mysql如何管理innodb元数据_MySQL 8 InnoDB 集群管理

使用 dba.checkInstanceConfiguration()在添加实例到集群中前&#xff0c;使用该方法检查实例配置是否满足InnoDB 集群要求。使用 dba.configureLocalInstance() 配置实例在MySQL Server版本不支持持久化功能的实例上&#xff0c;需要使用该方法添加修改配置信息到本地实例的选…

c编译过程概述

index.cpp是如何变成index.exe&#xff1f; 过程如下: #mermaid-svg-TCJ1Rm4qFgAObpkX .label{font-family:trebuchet ms, verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-TCJ1Rm4qFgAObpkX .label text{fill:#333}#mermaid-svg-T…

.NET Core技术研究-通过Roslyn代码分析技术规范提升代码质量

随着团队越来越多&#xff0c;越来越大&#xff0c;需求更迭越来越快&#xff0c;每天提交的代码变更由原先的2位数&#xff0c;暴涨到3位数&#xff0c;每天几百次代码Check In&#xff0c;补丁提交&#xff0c;大量的代码审查消耗了大量的资源投入。如何确保提交代码的质量和…

FATE HDU - 2159(二维完全背包)

限制条件&#xff1a; 1.忍耐度 m 2.杀怪个数 s 构造&#xff1a; dp[m][s] 得到的经验值 Time limit 1000 ms Memory limit 32768 kB OS Windows Source 2008信息工程学院集训队——选拔赛 最近xhd正在玩一款叫做FATE的游戏&#xff0c;为了…

mysql数据库check命令_利用mysqlcheck命令快速修复mysql数据库

表索引异常,修复msql表索引(表引擎:myisam)myisamchk --safe-recover /usr/local/mysql/data/ename_news/dede_arccacherepair table customerquestion;Error infos: Table ./ename_news/dede_arccache is marked as crashed and should be repairedmyisamchk -r data/ename_ne…

python中类变量的访问方式_在Python中,如何访问类方法中的“静态”类变量

就像所有的好例子一样&#xff0c;你简化了你实际想要做的事情。这很好&#xff0c;但值得注意的是&#xff0c;python在类和实例变量方面有很大的灵活性。方法也是如此。为了获得很好的可能性&#xff0c;我建议阅读Michael Ftsch new-style classes introduction&#xff0c;…

[PAT乙级]1009 说反话

给定一句英语&#xff0c;要求你编写程序&#xff0c;将句中所有单词的顺序颠倒输出。 输入格式&#xff1a; 测试输入包含一个测试用例&#xff0c;在一行内给出总长度不超过 80 的字符串。字符串由若干单词和若干空格组成&#xff0c;其中单词是由英文字母&#xff08;大小写…

Cheapest Palindrome POJ - 3280(动态规划*)

题意&#xff1a; 给出一个字符串&#xff0c;要求将其修改成一个回文字符串&#xff0c;给出修改某种字母&#xff08;添加或删除&#xff09;的价值&#xff0c;求最小使其成为回文字符串的价值。 题解&#xff1a; 感觉是求最长回文子序列的变形&#xff0c;然而刚开始想着…

Blazor Blazor Blazor

Blazor 项目现在可以说是整个 .NET 社区最火的项目&#xff0c;但是它的起源却非常有趣&#xff0c;也可以说是见证了 .NET 社区的发展。2017年4月&#xff0c;一位英国光头小哥哥开始思考在 WebAssembly 下运行 .NET 的方法&#xff0c;这时他碰巧发现一个之前从未见过的 .NET…

C++函数模板机制结论

函数模板机制结论: 编译器并不是把函数模板处理成能够处理任何类型的函数函数模板通过具体类型产生不同的函数编译器会对函数模板进行两次编译&#xff0c;在声明的地方对模板代码本身进行编译&#xff0c;在调用的地方对参数替换后的代码进行编译。

python最大堆heapq_Python-堆的实现与heapq(最小堆库函数)

目录简介堆是一个二叉树&#xff0c;它的每个父节点的值都只会小于或大于所有孩子节点(的值)。它使用了数组来实现&#xff1a;从零开始计数&#xff0c;对于所有的 k &#xff0c;都有 heap[k] < heap[2*k1] 和 heap[k] < heap[2*k2]。 为了便于比较&#xff0c;不存在的…

深入浅出 ASP.NET Core 与 Docker 入门课程说明

点击蓝字“角落的白板报”关注我哟加个“星标★”&#xff0c;好文必达&#xff01;深入浅出 ASP.NET Core 与 Docker 入门课程说明《深入浅出 ASP.NET Core 与 Docker 》是一门新的课程&#xff0c;本课程所有的内容全部免费&#xff0c;以图文配合视频的形式呈现。课程完整视…

UVA10129 Play on Words (并查集判连通+欧拉回路)

题目解析&#xff1a; 输入一些英文单词&#xff0c;根据该单词的首尾字母&#xff0c;判断所有单词能不能连成一串&#xff0c; 类似于成语接龙的意思。同样如果有多个重复的单词时&#xff0c;也必须满足这样的条件才能通过&#xff0c; 否则都是不可能的情况。输入包括若干…