DataX（二）：DataX安装与入门

1. 官方地址

下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

源码地址：GitHub - alibaba/DataX: DataX是阿里云DataWorks数据集成的开源版本。

2. 前置要求

  • Linux

  • JDK(1.8 以上，推荐 1.8)

  • Python(推荐 Python2.6.X)

3. 安装

1）将下载好的 datax.tar.gz 上传到 hadoop102 的/opt/software

2）解压 datax.tar.gz 到/opt/module

[xxds@hadoop102 ~]$ tar -zxvf datax.tar.gz -C /opt/module/

3）运行自检脚本

[xxds@hadoop102 datax]$ cd bin/
[xxds@hadoop102 bin]$ pwd
[xxds@hadoop102 bin]$  python datax.py /opt/module/datax/job/job.json

4) 输出如下数据

​

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.
​
​
2022-01-21 20:53:59.460 [main] INFO  VMInfo - VMInfo# operatingSystem class => sun.management.OperatingSystemImpl
2022-01-21 20:53:59.526 [main] INFO  Engine - the machine info  => 
​osInfo: Oracle Corporation 1.8 25.161-b12jvmInfo:        Linux amd64 3.10.0-1160.el7.x86_64cpu num:        1
​totalPhysicalMemory:    -0.00GfreePhysicalMemory:     -0.00GmaxFileDescriptorCount: -1currentOpenFileDescriptorCount: -1
​GC Names        [Copy, MarkSweepCompact]
​MEMORY_NAME                    | allocation_size                | init_size                      Eden Space                     | 273.06MB                       | 273.06MB                       Code Cache                     | 240.00MB                       | 2.44MB                         Survivor Space                 | 34.13MB                        | 34.13MB                        Compressed Class Space         | 1,024.00MB                     | 0.00MB                         Metaspace                      | -0.00MB                        | 0.00MB                         Tenured Gen                    | 682.69MB                       | 682.69MB                       
​
​
2022-01-21 20:53:59.640 [main] INFO  Engine - 
{"content":[{"reader":{"name":"streamreader","parameter":{"column":[{"type":"string","value":"DataX"},{"type":"long","value":19890604},{"type":"date","value":"1989-06-04 00:00:00"},{"type":"bool","value":true},{"type":"bytes","value":"test"}],"sliceRecordCount":100000}},"writer":{"name":"streamwriter","parameter":{"encoding":"UTF-8","print":false}}}],"setting":{"errorLimit":{"percentage":0.02,"record":0},"speed":{"byte":10485760}}
}
​
2022-01-21 20:53:59.733 [main] WARN  Engine - prioriy set to 0, because NumberFormatException, the value is: null
2022-01-21 20:53:59.742 [main] INFO  PerfTrace - PerfTrace traceId=job_-1, isEnable=false, priority=0
2022-01-21 20:53:59.743 [main] INFO  JobContainer - DataX jobContainer starts job.
2022-01-21 20:53:59.752 [main] INFO  JobContainer - Set jobId = 0
2022-01-21 20:53:59.972 [job-0] INFO  JobContainer - Scheduler starts [1] taskGroups.
2022-01-21 20:53:59.979 [job-0] INFO  JobContainer - Running by standalone Mode.
2022-01-21 20:54:00.077 [taskGroup-0] INFO  TaskGroupContainer - taskGroupId=[0] start [1] channels for [1] tasks.
2022-01-21 20:54:00.111 [taskGroup-0] INFO  Channel - Channel set byte_speed_limit to -1, No bps activated.
2022-01-21 20:54:00.112 [taskGroup-0] INFO  Channel - Channel set record_speed_limit to -1, No tps activated.
2022-01-21 20:54:00.208 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] attemptCount[1] is started
2022-01-21 20:54:00.528 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] is successed, used[339]ms
2022-01-21 20:54:00.529 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] completed it's tasks.
2022-01-21 20:54:10.150 [job-0] INFO  StandAloneJobContainerCommunicator - Total 100000 records, 2600000 bytes | Speed 253.91KB/s, 10000 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.194s |  All Task WaitReaderTime 0.263s | Percentage 100.00%
2022-01-21 20:54:10.151 [job-0] INFO  AbstractScheduler - Scheduler accomplished all tasks.
2022-01-21 20:54:10.156 [job-0] INFO  JobContainer - DataX Writer.Job [streamwriter] do post work.
2022-01-21 20:54:10.158 [job-0] INFO  JobContainer - DataX Reader.Job [streamreader] do post work.
2022-01-21 20:54:10.159 [job-0] INFO  JobContainer - DataX jobId [0] completed successfully.
2022-01-21 20:54:10.164 [job-0] INFO  HookInvoker - No hook invoked, because base dir not exists or is a file: /opt/module/datax/hook
2022-01-21 20:54:10.196 [job-0] INFO  JobContainer - [total cpu info] => averageCpu                     | maxDeltaCpu                    | minDeltaCpu                    -1.00%                         | -1.00%                         | -1.00%​[total gc info] => NAME                 | totalGCCount       | maxDeltaGCCount    | minDeltaGCCount    | totalGCTime        | maxDeltaGCTime     | minDeltaGCTime     Copy                 | 0                  | 0                  | 0                  | 0.000s             | 0.000s             | 0.000s             MarkSweepCompact     | 0                  | 0                  | 0                  | 0.000s             | 0.000s             | 0.000s             
​
2022-01-21 20:54:10.197 [job-0] INFO  JobContainer - PerfTrace not enable!
2022-01-21 20:54:10.200 [job-0] INFO  StandAloneJobContainerCommunicator - Total 100000 records, 2600000 bytes | Speed 253.91KB/s, 10000 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.194s |  All Task WaitReaderTime 0.263s | Percentage 100.00%
2022-01-21 20:54:10.223 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2022-01-21 20:53:59
任务结束时刻                    : 2022-01-21 20:54:10
任务总计耗时                    :                 10s
任务平均流量                    :          253.91KB/s
记录写入速度                    :          10000rec/s
读出记录总数                    :              100000
读写失败总数                    :                   0

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/876479.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

一文总结代理：代理模式、代理服务器

一文总结代理：代理模式、代理服务器

概述 代理在计算机编程领域，是一个很通用的概念，包括：代理设计模式，代理服务器等。 代理类持有具体实现类的实例，将在代理类上的操作转化为实例上方法的调用。为某个对象提供一个代理，以控制对这个对象的…
阅读更多...
测试分类篇

测试分类篇

按测试对象划分 这里可以分为界面测试, 可靠性测试, 容错率测试, 文档测试, 兼容性测试, 安装卸载测试, 安全测试, 性能测试, 内存泄露测试. 界面测试 界面测试（简称UI测试)，指按照界面的需求（一般是UI设计稿）和界面的设计规则…
阅读更多...
DOS攻击实验

DOS攻击实验

实验背景 Dos 攻击是指故意的攻击网络协议实现的缺陷或直接通过野蛮手段，残忍地耗尽被攻击对象的资源，目的是让目标计算机或网络无法提供正常的服务或资源访问，使目标系统服务系统停止响应甚至崩溃。 实验设备 一个网络 net:cloud0 一台模…
阅读更多...
基于微信小程序+SpringBoot+Vue的儿童预防接种预约系统(带1w+文档)

基于微信小程序+SpringBoot+Vue的儿童预防接种预约系统(带1w+文档)

基于微信小程序SpringBootVue的儿童预防接种预约系统(带1w文档) 基于微信小程序SpringBootVue的儿童预防接种预约系统(带1w文档) 开发合适的儿童预防接种预约微信小程序，可以方便管理人员对儿童预防接种预约微信小程序的管理，提高信息管理工作效率及查询…
阅读更多...
24暑假算法刷题 | Day22 | LeetCode 77. 组合，216. 组合总和 III，17. 电话号码的字母组合

24暑假算法刷题 | Day22 | LeetCode 77. 组合，216. 组合总和 III，17. 电话号码的字母组合

目录 77. 组合题目描述题解 216. 组合总和 III题目描述题解 17. 电话号码的字母组合题目描述题解 77. 组合 点此跳转题目链接 题目描述 给定两个整数 n 和 k，返回范围 [1, n] 中所有可能的 k 个数的组合。 你可以按 任何顺序 返回答案。 示例 1： 输…
阅读更多...
移动UI：排行榜单页面如何设计，从这五点入手，附示例。

移动UI：排行榜单页面如何设计，从这五点入手，附示例。

移动UI的排行榜单页面设计需要考虑以下几个方面： 1. 页面布局： 排行榜单页面的布局应该清晰明了，可以采用列表的形式展示排行榜内容，同时考虑到移动设备的屏幕大小，应该设计合理的滚动和分页机制，确保用户…
阅读更多...
贪心算法.

贪心算法.

哈夫曼树 哈夫曼树（Huffman Tree），又称为霍夫曼树或最优二叉树，是一种带权路径长度最短的二叉树，常用于数据压缩。 定义：给定N个权值作为N个叶子结点，构造一棵二叉树，若该树…
阅读更多...
普乐蛙VR航天航空体验馆知识走廊VR体验带你登陆月球

普乐蛙VR航天航空体验馆知识走廊VR体验带你登陆月球

VR航天航空设备是近年来随着虚拟现实（VR）技术的快速发展而兴起的一种新型设备，它结合了航天航空领域的专业知识与VR技术的沉浸式体验，为用户提供了前所未有的航天航空体验。以下是对VR航天航空设备的详细介绍： 一、设备…
阅读更多...
UGUI优化篇--UGUI合批

UGUI优化篇--UGUI合批

UGUI合批 UGUI合批规则概述UGUI性能查看工具合批部分的特殊例子一个白色image、蓝色image覆盖了Text，白色image和Text哪个先渲染 Mask合批Mask为什么会产生两个drawcallMask为什么不能合批Mask注意要点 RectMask2D为什么RecMask2D比Mask性能更好主要代码RectMask2D注…
阅读更多...
Golang | Leetcode Golang题解之第295题数据流的中位数

Golang | Leetcode Golang题解之第295题数据流的中位数

题目： 题解： type MedianFinder struct {nums *redblacktree.Treetotal intleft, right iterator }func Constructor() MedianFinder {return MedianFinder{nums: redblacktree.NewWithIntComparator()} }func (mf *MedianFinder) AddNum(…
阅读更多...
MySQL中多表查询之外连接

MySQL中多表查询之外连接

首先先来介绍一下我做的两个表，然后再用他们两个举例说明。 -- 创建教师表 create table teachers( id_t int primary key auto_increment, -- 老师编号 name_t varchar(5) -- 姓名 ); -- 创建学生表 create table students( id_s int primary key auto_increment,…
阅读更多...
数据结构——单链表OJ题（下）

数据结构——单链表OJ题（下）

目录 一、链表的回文结构 思路一：数组法 （1）注意 （2）解题 思路二：反转链表法 （1） 注意 （2）解题 二、相交链表 （1）思路&#…
阅读更多...
优化算法：1.遗传算法(GA)及Python实现

优化算法：1.遗传算法(GA)及Python实现

一、定义 遗传算法就像是在模拟“优胜劣汰”的进化过程，通过选择最优秀的个体，交配产生下一代，并引入一定的变异，逐步优化解决问题。 二、具体步骤 初始化种群(Initialization)： 假设你要找到一个迷宫的最佳出口路径。…
阅读更多...
CTF-NSSCTF[GKCTF 2021]

CTF-NSSCTF[GKCTF 2021]

[GKCTF 2021]easycms 考察： 用扫描工具扫描目录，扫描到后台登录界面/admin.php 题目提示了密码是五位弱口令，试了试弱口令admin和12345直接成功了 任意文件下载 点击设计-->主题然后随便选择一个主题，点击自定义&#xff0…
阅读更多...
故障诊断 | 基于Transformer故障诊断分类预测（Matlab）

故障诊断 | 基于Transformer故障诊断分类预测（Matlab）

文章目录 预测效果文章概述程序设计参考资料预测效果 文章概述 Transformer故障诊断/分类预测 | 基于Transformer故障诊断分类预测（Matlab） Transformer 模型本质上都是预训练语言模型，大都采用自监督学习 (Self-supervised learning) 的方式在大量生语料上进行训练，也就是…
阅读更多...
CTF之网站被黑

CTF之网站被黑

简单看一下网页和源码没发现什么明显漏洞 那就扫描一下目录 发现了/shell.php文件，访问一下，发现是一个后台管理登录页面 别无他法只能爆破喽，爆破后发现密码是hack flag{25891d9e9d377f006eda3ca7d4c34c4d}
阅读更多...
@JSONField(format = “yyyyMMddHH“)的作用和使用

@JSONField(format = “yyyyMMddHH“)的作用和使用

JySellerItqrdDataDO对象中的字段为： private Date crdat; 2.数据库中的相应字段为： crdat datetime DEFAULT NULL COMMENT 创建时间,2. 打印出的结果为： “crdat”:“2024072718” 年月日时分秒 3. 可以调整format的格式 4. 这样就把Date类…
阅读更多...
RedHat8安装Oracle19C

RedHat8安装Oracle19C

RedHat8安装Oracle19C 1、 更新yum源 更新yum源为阿里云镜像源： # 进入源目录 cd /etc/yum.repos.d/ # 删除 redhat 默认源 rm redhat.repo # 下载阿里云的centos7源 curl -O http://mirrors.aliyun.com/repo/Centos-8.repo # 替换 Centos-8.repo 中的 $releasev…
阅读更多...
初学Mybatis之 Lombok 篇

初学Mybatis之 Lombok 篇

idea 安装 Lombok 插件&#xff1a; File->Settings->Plugins->搜索 lombok 下载 在项目中导入 lombok 的 jar 包&#xff1a; <dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><version>1.…
阅读更多...
C语言程序设计之数学函数篇

C语言程序设计之数学函数篇

程序设计之数学函数 问题1_1代码1_1结果1_1 问题1_2代码1_2结果1 _2 问题1_3代码1_3结果1_3 问题1_1 函数 f u n fun fun 的功能是计算&#xff1a; s ln ⁡ ( 1 ) ln ⁡ ( 2 ) ln ⁡ ( 3 ) ⋯ ln ⁡ ( n ) s\sqrt{\ln(1)\ \ \ln(2)\ \ \ln(3)\ \ \cdots \ \ \ln(n)\ } …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023