【PowerJob】从源码编译到k8s部署

前言

虽然PowerJob官方说支持JPA各种数据源，但在PG数据库的兼容性上，确实存在小问题，issue也有相关原理描述，官方采用的优雅方式并未真正解决问题，因为只解决了从@Lob字段读取的时候，自动建表的时候还是会生成oid类型。本文从0到1，从源码开始一步步解决编译、运行、部署过程中遇到的问题，并分享出来，希望对大家有所帮助。

本地开发环境说明

开发依赖	版本
数据库	PostgreSQL
JDK	17

源码编译、启动

调度中心（powerjob-server）:
- https://github.com/PowerJob/PowerJob.git
- https://gitee.com/KFCFans/PowerJob.git
修改源码tech.powerjob.server.persistence.config.dialect.PowerJobPGDialect

package tech.powerjob.server.persistence.config.dialect;import org.hibernate.dialect.PostgreSQL10Dialect;
import org.hibernate.type.descriptor.sql.LongVarbinaryTypeDescriptor;
import org.hibernate.type.descriptor.sql.LongVarcharTypeDescriptor;
import org.hibernate.type.descriptor.sql.SqlTypeDescriptor;import java.sql.Types;/*** PostgreSQL 数据库支持，需要在 application.properties 中添加以下配置项进行激活* spring.datasource.remote.hibernate.properties.hibernate.dialect=tech.powerjob.server.persistence.config.dialect.PowerJobPGDialect** @author Kung Yao* @author Echo009* 2021/3/24 下午 04:23* 1074_King*/
public class PowerJobPGDialect extends PostgreSQL10Dialect {/**解决建表时，@Lob字段会生成oid类型，需要改成text类型*/public PowerJobPGDialect() {super();registerColumnType(Types.BLOB, "bytea");registerColumnType(Types.CLOB, "text");}/**解决读取@Lob字段时，使用Text类型*/@Overridepublic SqlTypeDescriptor getSqlTypeDescriptorOverride(int sqlCode) {switch (sqlCode) {case Types.CLOB:return LongVarcharTypeDescriptor.INSTANCE;case Types.NCLOB:case Types.BLOB:return LongVarbinaryTypeDescriptor.INSTANCE;}return super.getSqlTypeDescriptorOverride(sqlCode);}
}

编译

JDK17+

修改lombok版本

<properties><lombok.version>1.18.28</lombok.version>
</properties>

增加依赖

    <dependency><groupId>org.jboss.xnio</groupId><artifactId>xnio-nio</artifactId><version>3.8.7.Final</version><scope>runtime</scope></dependency>

编译: mvn compile -Pdev -DskipTests=true -e
PG数据库需要增加配置: spring.datasource.remote.hibernate.properties.hibernate.dialect=tech.powerjob.server.persistence.config.dialect.PowerJobPGDialect
- 相关问题描述: https://github.com/PowerJob/PowerJob/issues/153#issuecomment-812771783
数据库初始化

CREATE DATABASE "powerjob-daily" WITH ENCODING = 'UTF8' CONNECTION LIMIT = -1 IS_TEMPLATE = False
CREATE ROLE powerjob WITH LOGIN NOSUPERUSER NOCREATEDB NOCREATEROLE INHERIT NOREPLICATION NOBYPASSRLS CONNECTION LIMIT -1 PASSWORD 'powerjob';
COMMENT ON ROLE powerjob IS 'powerjob';
GRANT ALL PRIVILEGES ON DATABASE "powerjob-daily" TO powerjob;

启动参数增加: --spring.profiles.active=daily
浏览器访问: http://127.0.0.1:7700/
4.x: 注册应用，然后登录
5.x: 超级管理员登录: ADMIN/powerjob_admin

前端页面（powerjob-console）:
- https://github.com/PowerJob/PowerJob-Console.git
- https://gitee.com/KFCFans/PowerJob-Console.git

执行器（powerjob-worker）

参考资料: https://www.yuque.com/powerjob/guidence/deploy_worker
pom依赖

<dependency><groupId>tech.powerjob</groupId><artifactId>powerjob-worker-spring-boot-starter</artifactId><version>${powerjob.version}</version>
</dependency>

处理器（Processor）

package com.wen3.powerjob.demo.jobs;import jakarta.annotation.Resource;
import org.springframework.stereotype.Component;
import tech.powerjob.worker.annotation.PowerJobHandler;
import tech.powerjob.worker.core.processor.ProcessResult;
import tech.powerjob.worker.core.processor.TaskContext;
import tech.powerjob.worker.core.processor.sdk.BasicProcessor;
import tech.powerjob.worker.log.OmsLogger;/*** 单机处理器：BasicProcessor** 单机执行的策略下，server 会在所有可用 worker 中选取健康度最佳的机器进行执行。单机执行任务需要实现接口 BasicProcessor，代码示例如下：*/
// 支持 SpringBean 的形式
@Component
public class BasicProcessorDemo implements BasicProcessor {@Overridepublic ProcessResult process(TaskContext context) throws Exception {System.out.println("BasicProcessorDemo");// 在线日志功能，可以直接在控制台查看任务日志，非常便捷OmsLogger omsLogger = context.getOmsLogger();omsLogger.info("BasicProcessorDemo start to process, current JobParams is {}.", context.getJobParams());return new ProcessResult(true, "result is xxx");}@PowerJobHandler(name = "xxx1")public void xx1(TaskContext context) throws Exception {System.out.println("xxx1");// 在线日志功能，可以直接在控制台查看任务日志，非常便捷OmsLogger omsLogger = context.getOmsLogger();omsLogger.info("xx1");}@PowerJobHandler(name = "xxx2")public void xx2(TaskContext context) throws Exception {System.out.println("xxx2");// 在线日志功能，可以直接在控制台查看任务日志，非常便捷OmsLogger omsLogger = context.getOmsLogger();omsLogger.info("xx2");}
}

docker镜像制作

java打包: mvn package -Pdev -DskipTests=true -e
把打包后的powerjob-server-starter-4.3.9.jar、构建脚本、Dockerfile放到同一个目录

-rwxr-xr-x 1 root root       268 May  4 11:05 docker-build.sh
-rw-r--r-- 1 root root      2712 May  4 10:43 Dockerfile
-rw-r--r-- 1 root root 135117797 May  4 11:03 powerjob-server-starter-4.3.9.jar

执行构建脚本: ./docker-build.sh

构建脚本

version=4.3.9# 删除旧镜像
docker rmi -f imgsreg.ipipa.cn:20443/base/powerjob-server:$version
# 构建 powerjob-server 镜像
docker build -t imgsreg.ipipa.cn:20443/base/powerjob-server:$version .
docker push imgsreg.ipipa.cn:20443/base/powerjob-server:$version

k8s部署yaml文件制作

service制作

apiVersion: v1
kind: Service
metadata:name: powerjobnamespace: kube-publiclabels:app: vxiao-powerjob
spec:type: NodePortports:- name: httpport: 17700targetPort: 7700nodePort: 17700- name: akkaport: 10086targetPort: 10086nodePort: 10086- name: oms-httpport: 10010targetPort: 10010nodePort: 10010selector:app: powerjob

deployment制作

apiVersion: apps/v1
kind: Deployment
metadata:name: powerjobnamespace: kube-public
spec:replicas: 1revisionHistoryLimit: 0selector:matchLabels:app: powerjobtemplate:metadata:labels:app: powerjobspec:containers:- name: powerjobimagePullPolicy: Alwaysimage: xxxx:port/base/powerjob-server:4.3.9env:- name: JAVA_PROGRAM_ARGSvalue: >---spring.profiles.active=product--spring.datasource.remote.hibernate.properties.hibernate.dialect=tech.powerjob.server.persistence.config.dialect.PowerJobPGDialect--spring.datasource.core.driver-class-name=org.postgresql.Driver--spring.datasource.core.jdbc-url=jdbc:postgresql://xxx:5432/powerjob-product?autoReconnect=true&zeroDateTimeBehavior=convertToNull&useUnicode=true&characterEncoding=utf8&useNewIO=true&rewriteBatchedStatements=true&CharSet=utf8&serverTimezone=GMT&autoReconnection=true&remarks=true&useSSL=false--spring.datasource.core.username=powerjob--spring.datasource.core.password=powerjobports:- containerPort: 7700- containerPort: 10086- containerPort: 10010livenessProbe:httpGet:path: /actuator/health/livenessport: 7700initialDelaySeconds: 30failureThreshold: 2periodSeconds: 15readinessProbe:httpGet:path: /actuator/health/readinessport: 7700initialDelaySeconds: 15periodSeconds: 15startupProbe:httpGet:path: /actuator/health/readinessport: 7700failureThreshold: 30periodSeconds: 15resources:requests:cpu: 0.5memory: 500Milimits:cpu: 1memory: 1Gi

k8s部署

kubectl apply -f powerjob.yaml -n kube-public

运行截图

在首页先注册应用
使用注册的应用名称和密码进行登录
在任务管理中新建任务

参考资料

官网: http://www.powerjob.tech/
在线文档: https://www.yuque.com/powerjob/guidence/intro
快速开始: https://www.yuque.com/powerjob/guidence/quick_start

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/9665.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

【PowerJob】从源码编译到k8s部署

前言

本地开发环境说明

源码编译、启动

执行器（powerjob-worker）

处理器（Processor）

docker镜像制作

构建脚本

k8s部署yaml文件制作

service制作

deployment制作

k8s部署

运行截图

参考资料

相关文章

List集合中对asList的使用

【机器学习300问】82、RMSprop梯度下降优化算法的原理是什么？

使用单片机的IO引脚直接驱动段码屏

通义千问2.5中文能力地表最强

企业签名分发跟应用商城分发有什么区别

真驱鸟农业专用插电款驱鸟器，防喜鹊、麻雀各种鸟类

【Linux】编写一个简易的shell

【更具吸引力的回答】Java中final、finally、finalize的区别（二）

在CentOS 7服务器及Windows 10客户端间建立并配置NFS服务

从drugbank提取药物对应的靶点和基因信息

HTTP/1.0、HTTP/1.1、HTTP/2.0区别

【笔试训练】day23

博客系统问题

React面试经验2

将矩阵按对角线排序(Lc1329)——排序

DevEco：智能、灵活、实时的集成开发环境

API接口开发实现一键智能化自动抓取电商平台商品评论数据支持高并发免费接入示例

超详细的胎教级Stable Diffusion使用教程（一）

星途重启：244亿公里外的「旅行者1号」，修好了

【QT教程】QT6硬件数据库编程 QT硬件数据库