大数据量多线程批处理工具:MultiThreadMamager: 基于线程池实现的动态管理工具 基于ExecutorServiceTaskAbstract抽象实现内部方法:material()获取数据、processing()取数结果处理。 由管理工具去调用线程池执行任务和任务自动迭代处理 - Gitee.com
主要参考Map/reduce处理步骤,将批处理逻辑划分为:material()获取数据、processing()取数结果处理,两个步骤。取数和处理结果两个步骤之间采用Stream进行数据传输。
task任务实体构建好之后,交由管理工具自动循环迭代处理目标任务。
material()获取数据,返回null,表示目标任务数据已经处理完成。 会停止处理。
processing()取数结果处理,返回false。表示处理过程中遇到问题需要暂停后续的迭代处理逻辑。