SpringBatch简述

前言

如今微服务架构应用增多，但在企业里还存在海量数据的批处理场景。诸如银行的金融机构中，每天有3-4万笔的批处理作业需要处理。而常见处理方案有：

1、数据脚本跑批

2、批处理框架

3、多线程事务处理方案。

在满足基本功能之外，还需要关注如下的几点：

**健壮性：**不会因为无效数据或错误数据导致程序崩溃；
**可靠性：**通过跟踪、监控、日志及相关的处理策略（重试、跳过、重启）实现批作业的可靠执行；
**扩展性：**通过并发或者并行技术实现应用的纵向和横向扩展，满足海量数据处理的性能需求；

介绍

Spring Batch是一个轻量级的批量处理框架，它基于Spring框架，提供了一套完整的批量处理解决方案。Spring Batch可以帮助我们处理大量的数据，支持事务管理、并发处理、错误处理等功能。

Spring Batch本身是批处理逻辑的抽象，是对执行任务的规范化，跟调度框架是两回事。它可以结合调度框架，由调度框架进行调度Spring Batch作业，完成对批处理的任务。调度框架有相应的开源软件可供选择，如quartz，cron，xxl-job等。

优势

丰富的开箱即用组件。 开箱即用组件包括各种资源的读、写。读/写：支持文本文件读/写、XML文件读/写、数据库读/写、JMS队列读/写等。还提供作业仓库，作业调度器等基础设施，大大简化开发复杂度。
面向chunk处理支持多次读、一次写、避免多次对资源的写入，大幅提升批处理效率。
事务管理能力。 默认采用Spring提供的声明式事务管理模型，面向Chunk的操作支持事务管理，同时支持为每个tasklet操作设置细粒度的事务配置：隔离级别、传播行为、超时设置等。
元数据管理。 自动记录Job和Step的执行情况、包括成功、失败、失败的异常信息、执行次数、重试次数、跳过次数、执行时间等，方便后期的维护和查看。
易监控的批处理应用。 提供了灵活的监控模式，包括直接查看数据库、通过Spring Batch提供的API查看、JMX控制台查看等。其中还说到Spring Batch Admin，不过这个项目已不维护，改为用Spring Cloud Data Flow了。
丰富的流程定义。 支持顺序任务、条件分支任务、基于这两种任务可以组织复杂的任务流程。
健壮的批处理应用。 支持作业的跳过、重试、重启能力、避免因错误导致批处理作业的异常中断。
易扩展的批处理应用。 扩展机制包括多线程执行一个Step(Multithreaded step)、多线程并行执行多个Step(Parallelizing step)、远程执行作业（Remote chunking）、分区执行（partitioning step）。
复用企业现有IT资产。 提供多种Adapter能力，使得企业现有的服务可以方便集成到批处理应用中。避免重新开发、达到复用企业遗留的服务资产。

典型场景

定期提交批处理任务
并行批处理
企业消息驱动处理
大规模并行批处理
失败后手动或定时重启
按顺序处理依赖的任务（可扩展为工作流驱动的批处理）
部分处理：跳过记录（例如，回滚时）
批处理事务

核心概念

Spring Batch把批处理简单化，标准化是如何体现出来。简单来说，Spring Batch把批处理简化为Job和Job step两部分，在Job step中，把数据处理分为读数据(Reader)、处理数据(Processor)、写数据（Writer）三个步骤。异常处理机制分为跳过、重试、重启三种，作业方式分为多线程、并行、远程、分区四种。开发者在开发过程中，大部分工作是根据业务要求编写Reader、Processor和Writer即可，提高了批处理开发的效率。同时Spring Batch本身也提供了很多默认的Reader和Writer，开箱即用。