DataX及DataX-Web部署

DataX及DataX Web部署

相关链接:

  1. DataX:https://github.com/alibaba/DataX
  2. DataX文档:https://github.com/alibaba/DataX/blob/master/userGuid.md
  3. DataX Web:https://github.com/WeiYe-Jing/datax-web
  4. DataX Web文档:https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-web-deploy.md

1. 部署DataX

部署需求:

  • Linux

  • JDK(1.8以上,推荐1.8)

  • Python(2或3都可以)

  • Apache Maven 3.x (Compile DataX)

  1. 下载DataX工具包:DataX下载地址

  2. 将下载到的DataX上传到服务器,解压后,进入bin目录,即可运行同步作业:

    # 我将DataX上传到服务器的 /data/module 目录
    cd /data/moduletar -zxvf datax.tar.gz # 运行自检脚本测试
    python /data/module/datax/bin/datax.py /data/module/datax/job/job.json 
    
  3. 修改core.json文件

    后期在执行同步作业时,会报错bps限速问题,需要修改core.json配置文件。

    com.alibaba.datax.common.exception.DataXException: Code:[Framework-03], Description:[DataX引擎配置错误,该问题通常是由于DataX安装错误引起,请联系您的运维解决 .].  - 在有总bps限速条件下,单个channel的bps值不能为空,也不能为非正数at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:30) ~[datax-common-0.0.1-SNAPSHOT.jar:na]at com.alibaba.datax.core.job.JobContainer.adjustChannelNumber(JobContainer.java:430) ~[datax-core-0.0.1-SNAPSHOT.jar:na]at com.alibaba.datax.core.job.JobContainer.split(JobContainer.java:387) ~[datax-core-0.0.1-SNAPSHOT.jar:na]at com.alibaba.datax.core.job.JobContainer.start(JobContainer.java:117) ~[datax-core-0.0.1-SNAPSHOT.jar:na]at com.alibaba.datax.core.Engine.start(Engine.java:86) [datax-core-0.0.1-SNAPSHOT.jar:na]at com.alibaba.datax.core.Engine.entry(Engine.java:168) [datax-core-0.0.1-SNAPSHOT.jar:na]at com.alibaba.datax.core.Engine.main(Engine.java:201) [datax-core-0.0.1-SNAPSHOT.jar:na]
    

    解决方案:

    vim /data/module/datax/conf/core.json# core -> transport -> channel -> speed -> byte 默认为-1,修改为正数,例如2000000
    "core": {"dataXServer": {"address": "http://localhost:7001/api","timeout": 10000,"reportDataxLog": false,"reportPerfLog": false},"transport": {"channel": {"class": "com.alibaba.datax.core.transport.channel.memory.MemoryChannel","speed": {"byte": 2000000,"record": -1},"flowControlInterval": 20,"capacity": 512,"byteCapacity": 67108864},"exchanger": {"class": "com.alibaba.datax.core.plugin.BufferedRecordExchanger","bufferSize": 32}},

2. 部署DataX Web

部署需求:

  • MySQL (5.5+) 必选,对应客户端可以选装, Linux服务上若安装mysql的客户端可以通过部署脚本快速初始化数据库
  • JDK (1.8.0_xxx) 必选
  • DataX 必选
  • Python (2.x) (支持Python3需要修改替换datax/bin下面的三个python文件,替换文件在doc/datax-web/datax-python3下)
    必选,主要用于调度执行底层DataX的启动脚本,默认的方式是以Java子进程方式执行DataX,用户可以选择以Python方式来做自定义的改造
  1. 下载DataX Web安装包:点击下载 提取码:cpsk

  2. 将安装包上传到服务器并解压

    # 我将安装包上传到服务器的 /data/module 目录
    cd /data/moduletar -zxvf datax-web-2.1.2.tar.gz# 执行一键安装脚本
    cd /data/module/datax-web-2.1.2/bin
    ./install.sh
    

    执行安装脚本时,一路选择y,直到初始化数据库时,配置mysql连接

    2024-06-25 16:43:28.466 [INFO] (2766132)  Scan out mysql command, so begin to initalize the database
    Do you want to initalize database with sql: [/data/module/datax-web-2.1.2/bin/db/datax_web.sql]? (Y/N)y
    Please input the db host(default: 127.0.0.1): 
    Please input the db port(default: 3306): 
    Please input the db username(default: root): 
    Please input the db password(default: ): 
    Please input the db name(default: dataxweb)
    

    如果服务上并没有安装mysql命令,则可以取用目录下/bin/db/datax-web.sql脚本去手动执行,完成后修改相关配置文件:

    vim ./modules/datax-admin/conf/bootstrap.properties
    #Database
    #DB_HOST=
    #DB_PORT=
    #DB_USERNAME=
    #DB_PASSWORD=
    #DB_DATABASE=
    
  3. 一键启动所有服务

    cd /data/module/datax-web-2.1.2/bin
    ./start-all.sh 
    

    在Linux环境下使用JPS命令,查看是否出现DataXAdminApplication和DataXExecutorApplication进程,如果存在这表示项目运行成功.

    如果项目启动失败,请检查启动日志:modules/datax-admin/bin/console.out或者modules/datax-executor/bin/console.out

    如果需要修改端口。在/modules/datax-admin/bin/env.properties和/modules/datax-executor/bin/env.properties中修改

  4. web 访问测试:

    http://ip:9527/index.html

    用户名:admin,密码:123456

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/860823.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

11.xss之href输出

11.xss之href输出 后台配置文件中的代码 xss之href输出绕过:javascript:alert(1111) 直接代入a标签herf里面一样可以绕过htmlspecialchars 输入攻击代码 javascript:alert(1111)点击蓝色字体直接会弹窗,如图所示:

手机pdf删除怎么办?只需要2招,就可以快速恢复耶

PDF文件,这个我们日常生活中的常客,越来越受到大家的喜爱。但是,有时候我们会因为一时的疏忽或者清理手机内存而不小心删掉了重要的PDF文件,这可真是让人头疼啊!那么,这些pdf删除后,有没有什么好…

汇凯金业:预测黄金现货涨跌趋势的关键方法

在金融市场中,黄金现货作为一种重要的避险资产,价格波动受到全球经济、货币政策、市场情绪等多重因素的影响。要有效预测黄金现货的涨跌趋势,不仅需深刻理解这些因素,还需掌握一系列的分析技巧。本文将详细介绍一些关键的分析方法…

探索表单获取与处理在Web开发中的重要性与实践

在Web开发中,表单是用户与应用程序交互的重要方式之一。通过表单,用户可以输入和提交数据,而开发者则需要获取、验证和处理这些数据,以完成各种操作。本文将探讨如何在Web开发中获取表单数据,以及处理表单数据时的一些…

事务性邮件发送如何选择邮件群发工具

在数字营销的海洋中,事务性邮件如同灯塔,指引着用户在与品牌的互动中前行。它们是自动化的使者,及时响应用户的行为,传递关键信息。然而,选择正确的邮件群发工具,是确保这些信息有效传达的关键。本文将带您…

Kafka入门-基础概念及参数

一、Kafka术语 Kafka属于分布式的消息引擎系统,它的主要功能是提供一套完备的消息发布与订阅解决方案。可以为每个业务、每个应用甚至是每类数据都创建专属的主题。 Kafka的服务器端由被称为Broker的服务进程构成,即一个Kafka集群由多个Broker组成&#…

Qt QML 坑

Qt QML 坑 QML Listview 1、不定高item 导致item重叠 ListView {id: _cityListViewproperty var _cityArray: [{ type:"A",cityArray:[]},{ type:"B",cityArray:[]},{ type:"C",cityArray:[]},{ type:"D",cityArray:[]}]model: List…

Java银系统/超市收银系统/智慧新零售/ERP进销存管理/线上商城/h5/小程序

>>>系统简述: 神点收银系统支持B2B2C多商户模式,系统基于前后端分离的架构,后端采用Java SpringBoot Mysql Mybatis Plus,前端基于当前流行的Uniapp、Element UI,支持小程序、h5。架构包含:会员端…

Mybatis插入操作 主键自增 返回成功 但是数据库没有数据

插入操作成功,消耗了一个主键,但是数据库没有看到相关数据。一般这种情况说明可能事务没有执行成功,事务回滚了。数据库操作要通过 ACID规则来约束事务,即原子性(Atomicity)、一致性(Consistenc…

项目里出现两个配置类继承WebMvcConfigurationSupport时,为什么只有一个会生效(源码分析)

为什么我们的项目里出现两个配置类继承WebMvcConfigurationSupport时,只有一个会生效。我在网上找了半天都是说结果的,没有人分析源码到底是为啥,博主准备讲解一下,希望可以帮到大家! 大家基本遇到过一种情况&#xff…

互联网摸鱼日报(2024-06-26)

互联网摸鱼日报(2024-06-26) 36氪新闻 继南非后,巴基斯坦光储市场爆发 | 最前线 能源专家谈产能过剩:“卷”是市场经济的固有特征 | 最前线 Manner,有理想的人也伤心 详解开源闭源之争,十家大模型厂商的商战策略 试水一年即被…

SQL Server 2022从入门到精通

大家好,我是爱编程的喵喵。双985硕士毕业,现担任全栈工程师一职,热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。…

ardupilot开发 --- 视觉伺服 篇

风驰电掣云端飘,相机无法对上焦 1.视觉伺服分类2.视觉伺服中的坐标系3.成像模型推导4.IBVS理论推导5.IBVS面临的挑战6.visp 实践参考文献 1.视觉伺服分类 控制量是在图像空间中推导得到还是在欧式空间中推导得到,视觉伺服又可以分类为基于位置(PBVS)和基…

Flink 状态管理

一、状态 流式计算分为无状态和有状态两种情况。无状态的计算观察每个独立事件,并且根据最后一个事件输出结果。例如,流处理应用程序从传感器接收温度读数,并在温度超过90度时发出告警。有状态的计算则会基于多个事件输出结果。例如&#xf…

一款开源、高颜值的AI物联网数据平台

介绍 AIOT人工智能物联网平台是一站式物联网开发基础平台,帮助企业快速实现数字化、精细化数据管理。核心系统为:物联网平台 数据中台(数据底座) AI。 同时支持文生图、语音合成等。大模型支持陆续也会慢慢开发。 物联系统介绍…

实战分析:自动劫持 root 密码并注入后门密码的网络安全威胁与防御策略

实战分析:自动劫持 root 密码并注入后门密码的网络安全威胁与防御策略 引言 在网络安全领域,后门和密码劫持是常见的攻击手段,它们允许攻击者非法获取系统访问权限。本文将深入探讨一种实战场景,分析攻击者如何自动劫持 root 密…

CLIP 计算过程图解

CLIP 计算过程图解 CLIP模型是OpenAI开发的一种多模态学习模型,它通过学习文本和图像之间的关联,实现了跨模态的语义理解。下面是CLIP模型计算过程的简化描述: 1 数据准备 选取包含文本和图像对的mini-batch,例如"big tab…

ReentrantReadWriteLock

读写锁 独占锁X:指该锁一次只能被一个线程所持有,对 ReentrantLock 和 Synchronized 而言都是独占锁 共享锁S:指该锁可以被多个线程锁持有 ReentrantReadWriteLock 其读锁是共享锁,写锁是独占锁 作用:多个线程同时…

【快速入门】Transformer: Attention Is All You Need

Transformer → \to → 【知名应用】BERT (unsupervised trained Transformer) Transformer :seq2Seq model with self-attention, 后续会主要说明 self-attentionTransformer的组成: Self-attention是 Attention变体,擅长捕获数据/特征的内…

【容器化】docker和docker-compose/dockerfile和docker-compose.yml

文章目录 docker和docker-composeDockerDocker Compose总结 dockerfile和docker-compose.ymlDockerfiledocker-compose.yml示例Dockerfile 示例docker-compose.yml 示例 docker和docker-compose Docker和Docker Compose是两个重要的工具,用于容器化应用程序的开发、…