批处理最佳做法

大多数应用程序至少具有一个批处理任务,在后台执行特定的逻辑。 编写批处理作业并不复杂,但是您需要了解一些基本规则,我将列举一些我发现最重要的规则。

从输入类型的角度来看,处理项目可以通过轮询处理项目存储库来实现,也可以通过将它们通过队列推送到系统中来实现。 下图显示了典型批处理系统的三个主要组件:

  • 输入组件(通过轮询或从输入队列加载项目)
  • 处理器:主要处理逻辑组件
  • 输出组件:输出结果的输出通道或存储位置

batch_processing_components

1.始终分批轮询

您一次只能检索一批项目。 我最近不得不在尝试检索所有可能的项目进行处理时,诊断由计划作业抛出的OutOfMemoryError。

系统集成测试正使用少量数据,因此通过了,但是由于某些部署问题,当计划的作业脱机两天时,由于没有人消耗它们,因此要处理的项目数已经累积起来。 ,并且当调度程序重新联机时,由于它们不适合调度程序的内存堆,因此无法使用它们。 因此,仅设置高调度频率速率是不够的。

为了避免这种情况,您只需要获取一批物料,将它们消耗掉即可,然后您可以重新运行该过程,直到没有剩余要处理的东西为止。

2.编写线程安全的批处理程序

通常,无论您选择并行运行多少个作业,计划作业都应正确运行。 因此,批处理处理器应该是无状态的,仅使用本地作业执行上下文将状态从一个组件传递到另一个组件。 毕竟,即使是踩踏安全的全局变量也不是那么安全,因为作业的数据可能在并发执行时混杂在一起。

3.节流

使用队列(输入或在批处理程序中)时,您应该始终有一个限制策略。 如果物品的生产率始终高于消耗的物品,那么您将遭受灾难。 如果排队的项目保留在内存中,最终将用完它。 如果项目存储在持久队列中,则会用完空间。 因此,您需要一种平衡生产者和消费者的机制。 只要生产率是有限的,您只是要确保您有合适的消费者数量来平衡生产率。

当队列大小超过给定阈值时,自动扩展消费者就像开始新的消费者一样,是一种合适的自适应策略。 当队列大小低于其他阈值时杀死使用者,可以释放不必要的空闲线程。

create-new-consumer阈值应大于kill-idle阈值,因为如果它们相等,则当队列大小在阈值大小附近波动时,您将获得create-kill抖动。

4.存储工作结果

在内存中存储作业结果不是很周到的事情。 选择一个持久性存储(MongoDb限制的集合)是一个更好的选择。

如果结果保存在内存中,而您忘记将它们限制在一个上限,则批处理处理器最终将耗尽内存。 重新启动计划程序将清除您以前的工作结果,这是非常有价值的,因为这是您获得的唯一反馈。

5.泛滥外部服务提供商

for(GeocodeRequest geocodeRequest : batchRequests) {mapsService.resolveLocation(geocodeRequest);
}

这段代码充斥着您的地图提供商,因为一旦您完成一项请求,几乎立即就会发出一个新请求,这给他们的服务器带来了很大压力。 如果batchRequests数目足够高,那么您可能会被禁止。

您应该在两次请求之间添加一个短暂的延迟,但是不要让当前的睡眠状态变慢,而应使用EIP延迟器。

6.对批处理

尽管程序风格的编程是大多数程序员的默认思维方式,但许多批处理任务更适合企业集成模式设计。 使用EIP工具更容易实现所有上述规则:

  • 消息队列
  • 投票渠道
  • 变形金刚
  • 分离器/聚合器
  • 延迟器

使用EIP组件可简化测试,因为您一次只专注于一项职责。 EIP组件通过队列传递的消息进行通信,因此将一个同步处理通道更改为调度的线程池只是一个配置细节。

有关EIP的更多信息,请查看出色的Spring Integration框架。 我已经使用了三年了,接种疫苗后,您会更喜欢它而不是过程编程。

参考: Vlad Mihalcea博客博客上的JCG合作伙伴 Vlad Mihalcea 批处理最佳实践 。

翻译自: https://www.javacodegeeks.com/2013/11/batch-processing-best-practices.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/366725.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

android 360度视频播放器,Android开发VR实战之播放360度全景视频

VR即Virtual Reality虚拟现实。虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统它利用计算机生成一种模拟环境是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。那么,如何在Android中去开发VR功能的APP呢&#xff1f…

关于怎么在手机端实现一个拖拽的操作

手机端&#xff0c;肯定是监听touchstart,touchmove,touchend事件 先来看看效果 当拖拽时&#xff0c;拖拽到哪个节点下面&#xff0c;就把哪个节点添加到这个下面 <div>1111</div><div>2222</div><div>3333</div><div>4444</div…

二叉树的前序创建

1 #include <stdio.h>2 #define ElemType char3 //节点声明&#xff0c;数据域、左孩子指针、右孩子指针4 typedef struct BiTNode{5 char data;6 struct BiTNode *lchild,*rchild;7 }BiTNode,*BiTree;8 //先序建立二叉树9 BiTree CreateBiTree(){ 10 char c…

Apache Karaf遇到Apache HBase

介绍 Apache HBase是模仿Google Bigtable的开源&#xff0c;分布式&#xff0c;版本化&#xff0c;面向列的商店。 如果您是普通读者&#xff0c;那么您可能已经知道Apache Karaf是什么&#xff0c;但是对于那些不是的读者&#xff1a;Apache Karaf是一个OSGi运行时&#xff0c…

物联网架构成长之路(24)-Docker练习之Compose容器编排

0.前言  一开始学的之后&#xff0c;是想一步到位直接上Kubernetes(K8s)的&#xff0c;后面没想到&#xff0c;好像有点复杂&#xff0c;有些概念不是很懂。因此学习东西还是要循序渐进&#xff0c;慢慢来。先了解单机编排技术Docker Compose&#xff0c;了解一些技术细节及原…

CSS原理解析之模型篇

写在前面&#xff1a;尝试回答几个问题&#xff1a;什么是盒模型&#xff0c;控制盒模型的属性有哪些&#xff1f;Margin、Padding、Border、Width、Height这些属性改变/影响盒模型&#xff0c;但每个属性都会在所有元素上生效么&#xff1f;如果存在区别&#xff0c;那么和元素…

Quartz遇到的问题

本文首次发布于My Blog,作者张琦(Ian),转载请保留原文链接。 有状态和无状态 使用有状态&#xff08;StatefulJob&#xff09;还是无状态的任务&#xff08;Job&#xff09; 在 Quartz 中&#xff0c;基本来说&#xff0c;任务分为有状态和无状态两种。实现 Job 接口的任务缺省…

android baseactivity,Android应用开发Android通过BaseActivity获取到当前启动的Activity名称...

本文将带你了解Android应用开发Android通过BaseActivity获取到当前启动的Activity名称&#xff0c;希望本文对大家学Android有所帮助。<在BaseActivity的onCreate方法中:public class BaseActivity extends AppCompatActivity { Override protected void onCreate(Nul…

RIP RETE时间获得PHREAKY

我刚刚完成了我称为PHREAK的新规则算法的一些高级文档&#xff0c;这是混合推理中的一个文字游戏。 它仍然有点粗糙和高水平&#xff0c;但希望仍然很有趣。 它建立在ReteOO之上&#xff0c;非常好阅读。 ReteOO算法 ReteOO是在3、4和5系列发行版中开发的。 它采用RETE算法并应…

Hadoop自学笔记(三)MapReduce简单介绍

1. MapReduce Architecture MapReduce是一套可编程的框架&#xff0c;大部分MapReduce的工作都能够用Pig或者Hive完毕。可是还是要了解MapReduce本身是怎样工作的&#xff0c;由于这才是Hadoop的核心&#xff0c;而且能够为以后优化和自己写做准备。 Job Client, 就是用户 Job …

洛谷 P2051 [AHOI2009]中国象棋 解题报告

P2051 [AHOI2009]中国象棋 题目描述 这次小可可想解决的难题和中国象棋有关&#xff0c;在一个N行M列的棋盘上&#xff0c;让你放若干个炮&#xff08;可以是0个&#xff09;&#xff0c;使得没有一个炮可以攻击到另一个炮&#xff0c;请问有多少种放置方法。大家肯定很清楚&am…

VirtualDOM与diff(Vue实现)

写在前面 因为对Vue.js很感兴趣&#xff0c;而且平时工作的技术栈也是Vue.js&#xff0c;这几个月花了些时间研究学习了一下Vue.js源码&#xff0c;并做了总结与输出。文章的原地址&#xff1a;https://github.com/answershuto/learnVue。在学习过程中&#xff0c;为Vue加上了…

使用Java的RESTful Web服务

REST代表“代表性状态转移”&#xff0c;由Roy Fielding于2000年在其论文“建筑风格和基于网络的软件体系结构设计”中首次提出。 REST是一种建筑风格。 HTTP是一种协议&#xff0c;其中包含一组REST体系结构约束。 REST基础 REST中的所有内容都被视为资源。 每个资源都由UR…

android 基础应用程序,android应用程序基本实现(基础篇).ppt

《android应用程序基本实现(基础篇).ppt》由会员分享&#xff0c;可在线阅读&#xff0c;更多相关《android应用程序基本实现(基础篇).ppt(22页珍藏版)》请在人人文库网上搜索。1、Android应用程序基本实现,复杂的应用,上节课&#xff0c;我们实现了一个基本的android的应用程序…

windows npm安装webpack

Webpack: Webpack 是一个前端资源加载/打包工具。 它将根据模块的依赖关系进行静态分析&#xff0c;然后将这些模块按照指定的规则生成对应的静态资源。 参考下图&#xff1a; 安装Webpack: 1.首先需要安装node.js&#xff08;npm&#xff09; 下载地址&#xff1a;node.js dow…

ThreadLocal如何实现?

这是我上周的帖子的后续文章&#xff0c;在那篇文章中我解释了ThreadLocal用法的动机 。 从帖子中我们可以回想起&#xff0c;如果您希望每个线程都有一个独立初始化的变量副本&#xff0c;则ThreadLocal确实是一个很酷的概念。 现在&#xff0c;好奇的人可能已经开始问“我如何…

WPFの操作文件浏览框几种方式

WPFの操作文件浏览框几种方式 原文:WPFの操作文件浏览框几种方式方式1&#xff1a; 使用win32控件OpenFileDialog Microsoft.Win32.OpenFileDialog ofd new Microsoft.Win32.OpenFileDialog(); ofd.DefaultExt ".xml"; ofd.Filter "xml file|*.xml"; if…

为什么你应该尝试@reach/router

最近react-router的一个作者另外写了一个类react-router的组件 reach/router&#xff0c;尝试后感觉太棒了。如果你的项目只是web端的话我认为可以把你的react-router换掉了。下面是我到目前看到的所有非常好的点。 小&#xff0c;就4kb,压缩后比react-router小40kb左右。 更少…

android 浏览器 div穿透,解决IE 上重叠div 对 mouseover 事件的穿透方法之一

解决IE 下重叠div 对 mouseover 事件的穿透方法之一? ? ? ? 历经一天半的时间&#xff0c;我这前端的白痴终于想到了一个解决IE 下重叠div ?对 mouseover 事件的穿透方法。??现象&#xff1a; 两个并列关系的Div(没有父子关系)&#xff0c;但是两个Div在位置上面有重叠&…

类加载器工作机制

类加载器工作机制&#xff1a;1.装载&#xff1a;将Java二进制代码导入jvm中&#xff0c;生成Class文件。2.连接&#xff1a;a&#xff09;校验&#xff1a;检查载入Class文件数据的正确性 b&#xff09;准备&#xff1a;给类的静态变量分配存储空间 c&#xff09;解析&#xf…