输入分钟输出小时python_输出键,值对如何使1小时内的时间在使用Python的MapReduce中的reducer中结束?...

这是一个策略:

来自Mapper的

:发出每个记录的三个副本并使用二级排序:

((复合键),值)=

((消息小时 - 一小时,当前消息的精确时间),消息)

((消息小时,消息的准确时间),消息)

((消息小时1小时,消息的准确时间),消息)

现在:您需要标准的二级排序:

setPartitioner只到密钥的前半部分(消息的小时)

setGroupingComparator只到键的前半部分(消息的小时)

setSortingComparator to(消息小时,消息的准确时间)

在reducer中:每个reducer组接收消息精确时间内/ - 60到120分钟内的所有消息 . reducer以排序顺序查看"precise time of message"的所有内容 . 因此,您可以在每个减速器中保留过去60分钟内查看的所有消息的滑动窗口

NOTE 以上假设60分钟消息的数据可以放在单个reducer任务的内存中 . 否则,您将需要求助于将数据写入磁盘作为窗口函数的一部分 .

Update OP要求进一步澄清窗口,所以我们走了 .

从Mapper发出的密钥的角度考虑:每个输入记录有三个密钥 . 现在在Reducer上,这意味着每个输入记录都出现在三个不同的组中 . 原因是我们需要针对每个输入记录考虑前导和滞后记录 . 因此,现在我们让每个组都可以访问所有输入记录,这些记录可能在最早记录的60分钟内以及最新记录的60分钟内 . 由于记录按每小时最早的秒数分组:这意味着-60(分钟)到120(最大)对比属于给定小时组的任何记录 .

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/533631.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python 在线预览文件_用Python PyQt写一个在线预览图片的GUI

在爬完网上一篇帖子,并得到其中的所有图片链接后,写一个GUI来实现在线预览是一个很自然的想法, 相当于实现一个python版的图片浏览器, 通过这个练习,可以让我们更熟悉PyQt这个库。这里我用的是PyQt4。以下是我的写的程…

python怎样安装模块_python中如何安装模块

下面介绍几种安装Python模块的几种方式方法1:easy_install 方式先下载ez_setup.py,运行python ez_setup 进行easy_install工具的安装,之后就可以使用easy_install进行安装package了。本文安装的是Python 2.7.13版本,已经自带了easy_install。…

java rt_java中rt包中源码了解

javap –verbose class名 查看class文件的具体内容javap -c class名继续看io类接口 java.io.Closeable功能:关闭流和相应的资源java.io.console功能:使用字节控制台,与当前的java virtual machine 相关java.io.DataInput功能:从二…

google 确定某点海拔高_一份“高投资回报率”的用户体验度量方法指南

本文核心就是介绍体验度量方法,以及如何在商业项目中如何发起一个具有高ROI(投资回报率)的用户体验量化流程。 下面文章将分为解读高投资回报和拆解体验度量、实际案例讲解三部分。一、解读高投资回报率高ROI(投资回报率)来定义体验度量流程的原因?3-5年…

md5 java代码_JAVA简单实现MD5注册登录加密实例代码

开发环境:jdk1.7,eclipse框架:springmvc,mybatis工具:maven以下代码复制即可实现MD5加密创建一个mave项目,加web。不懂得可以搜索一下就有了。注册用户的JSP页面代码如下。pageEncoding"utf-8"%&…

一维卷积神经网络_序列特征的处理方法之二:基于卷积神经网络方法

前言上一篇文章介绍了基本的基于注意力机制方法对序列特征的处理,这篇主要介绍一下基本的基于卷积神经网络方法对序列特征的处理,也就是TextCNN方法。序列特征的介绍,背景以及应用可以参考上一篇的详细介绍,这里简单回顾一下定义&…

java socket 阻塞模式_(四) 如何将socket设置为非阻塞模式

1. windows平台上无论利用socket()函数还是WSASocket()函数创建的socket都是阻塞模式的:SOCKET WSAAPI socket( _In_ int af, _In_ int type, _In_ int protocol ); SOCKET WSASocket( _In_ int af, _In_ int t…

python中的pygame模块使用方法_Pygame的基本使用

Pygame有很多模块,每个模块又有很多方法,在此不能够逐一讲解,所以,我们通过一个实例来学习Pygame,然后再分解代码,讲解代码中的模块。例:制作一个跳跃的小球游戏。创建一个游戏窗口,…

java mongodb 插入数据_mongoDB 插入数据 用java实现

import java.net.UnknownHostException;import com.mongodb.BasicDBObject;import com.mongodb.DB;import com.mongodb.DBCollection;import com.mongodb.DBObject;import com.mongodb.Mongo;/** *用java 往mongoDB插入数据 * author wwd* */public class InsertData {publi…

python的特征提取实验一_Spark 2.1.0 入门:特征抽取 — TF-IDF(Python版)

这一部分我们主要介绍和特征处理相关的算法,大体分为以下三类:特征抽取:从原始数据中抽取特征特征转换:特征的维度、特征的转化、特征的修改特征选取:从大规模特征集中选取一个子集特征提取TF-IDF (HashingTF and IDF)…

java addlast_Java中的LinkedList addLast()方法: java.util.LinkedList.addLast() - Break易站

Java中的java.util.LinkedList.addLast()方法用于在LinkedList的末尾插入特定元素。句法:void addLast(Object element)参数:此函数接受单个参数元素,如上面的语法所示。此参数指定的元素将附加在列表的末尾。返回值:此方法不返回…

macos降级_iOS12.3 beta2更新了什么 iOS12.3测试版2新特性与升降级方法

4月0日凌晨,苹果发布了iOS12.3 beta2,作为iOS12.3第二个测试版,相比前一个版本,发布时间间隔近2周,这次依然是小版本更新,不过相对良心一些,主要是多了一些与国内用户相关的东西。iOS12.3 beta …

java技术教程视频_Spring开发视频教程高级篇+源码(400M)33讲

Spring开发视频教程高级篇源码(400M)33讲01_全面阐释Spring及其各项功能.rar 02_搭建与测试Spring的开发环境.rar 03_编码剖析Spring管理Bean的原理.rar 04_Spring的三种实例化Bean的方式.rar 05_配置Spring管理的bean的作用域.rar 06_Spring管理的Bean的生命周期.rar 07_编码剖…

python的常见矩阵除法_Numpy矩阵除法返回所有零

我对下面的矩阵有个除法错误。我想用行和的101向量除以1010matrix。在[[5731, 3, 20, 8, 12, 54, 46, 8, 39, 2],[ 2, 6472, 47, 24, 7, 44, 7, 11, 116, 12],[ 55, 36, 5296, 104, 84, 27, 106, 53, 183, 14],[ 50, 49, 132, 5312, 2, 253, 36, 58, 142, 97],[ 16, 28, 36, 9,…

java rc2加密_急求java RC2加密算法

下面是一段C RC2加密 要求要用java 重写 能互相加密解密QSBEncryptRc2::QSBEncryptRc2(){EncryKey "DingXin Communication Key 20080613";}//解密失败时返回失败描述AnsiString QSBEncryptRc2::GetDecryptErrMsg(){int ErrorCode;AnsiString ErrMsg;ErrorCode …

linux配置usb主从_杂集:浅谈关于Mongodb数据库主从复制

Linux下Mongodb数据库主从复制配置Mongodb的三种集群搭建的方式:Master-Slaver:主从[目前被副本集取代]。Replica Set:副本集。Sharding:切片。Mongodb单实例缺点:适合简易开发时使用,生产使用不行&#xf…

java读取邮箱附件_使用javamail获取附件内容

我正在使用javamail来自动化一些电子邮件处理。使用javamail获取附件内容我设法连接到pop3服务器并获取消息。其中一些包含附件。根据邮件标题,我可以“预测”我需要获取的附件的文件名。但我无法得到它的内容:(我有一个函数public byte[] searchForContent(Part pa…

高斯拟合 vc++代码_NMA2020W1 极大似然法模型拟合与bootstrap

常见的线性模型: 求解方式有两种,一种是计算均方误差(MSE),使得均方误差最小。图1找到梯度为零的点即可。而之前一直比较模糊的最大似然法也比较清楚了。一般线性模型,我们假定误差项是符合高斯分布的&…

java文件快速扫描仪_Java扫描仪具有示例的NextNextShort()方法

扫描仪类hasNextShort()方法语法:public boolean hasNextShort();public boolean hasNextShort(int rad);hasNextShort()方法在java.util包中可用。hasNextShort()方法用于检查此扫描程序在其输入中是否具有下一个标记,是否可以将其作为隐式基数中的shor…

python sqlite并发处理_python sqlite大数据 处理

{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":4,"count":4}]},"card":[{"des":"阿里技术人对外发布原创技术内容的最大平台&…