深圳高端网站建设收费/怎么利用互联网推广

深圳高端网站建设收费,怎么利用互联网推广,番禺做网站开发,做调查的网站‘DMETL实现了增量数据的同步。在源表上进行的增删改操作,可以通过增量数据抽取,同步到目的表中。在第一次将源表数据全量抽取到目的表中后,可以通过重复地执行增量数据抽取,将源表上的增删改操作产生的变化数据,无遗漏地…

683be9c04618ec85ead4f204fe77a6c4.gif

DMETL实现了增量数据的同步。在源表上进行的增删改操作,可以通过增量数据抽取,同步到目的表中。在第一次将源表数据全量抽取到目的表中后,可以通过重复地执行增量数据抽取,将源表上的增删改操作产生的变化数据,无遗漏地同步到目的表中,从而实现源表和目的表的长期同步。由于不需要每次都同步全量数据,当全量数据巨大,而每次变化数据较少时,可以大幅提升数据同步的效率。

DMETL中“增量表读取“提供对已建立好的数据库数据源中增量表的数据读取功能,并且可以对数据读取列、数据行、缓存以及并发等选项的设置。

DMETL支持的增量有:

  • 触发器增量:是通过在基表上建立触发器,捕捉基表上发生的增删改操作,从而产生增量数据。触发器方式可以捕捉到插入和修改的大对象数据。

  • 影子表增量:是在数据源中,建立一张和基表结构相同的影子表。当基表上发生了增删改操作后,在增量数据集进行刷新操作时,通过比较基表和影子表的数据,从而获得增量数据。

  • MD5增量:通过将变化前后的数据进行MD5 散列处理,然后比对MD5 的散列值是否相同来实现。

  • 时间戳增量:通过一条记录修改的时间戳值或生成的时时间戳值来决定是否迁移。

  • Oracle CDC 增量方式:是“Oracle变化数据捕捉”(Changed Data Capture)的简称,利用了Oracle内建的存储函数和过程捕捉和发布变化数据,本质是分析日志的方式,获得Oracle 数据库中某张表上的数据变化,从而实现增量数据的抽取。

  • DMHS 增量:DMHS是“DM异构同步”的简称。DMHS工具通过解析数据库日志,在不同的数据库之间实现数据同步。

各种增量方式的比较和使用建议

增量方式

效率

通用性

使用建议

触发器

在表上进行增量抽取

一般情况下建议使用

影子表

较高

在表或视图上进行增量抽取

一般情况下建议使用,但比较列包含大对象类型时,效率较低

MD5

在表或视图上进行增量抽取

需要在大对象类型列上进行比较时可使用

时间戳

较高

在表或视图上进行增量抽取

需要修改时间戳列,因此需要数据库支持时间戳自动更新,或手工更新时间戳列

DMHS

DM数据库中,在表上进行增量抽取

需要安装DMHS工具。当对性能要求较高时建议使用

Oracle   CDC

Oracle数据库中,在表上进行增量抽取

sync方式不支持大对象类型列的比较。当对实时性要求较高时建议使用sync方式 ,hotlog方式可能有延时,但是对数据源的影响较小

表格 1

使用建议:

源库权限

是否要同步update和delete操作

数据量

建议(按优先级排列)

只读

1.   如果目的表上有主键或者唯一索引,可以使用全量抽取,然后在表目的上使用插入更新选项。

2.  每次同步前先删除目的表的数据,然后在进行全量同步。

1.  如果源表上有序列或者自增列可以使用带参数的sql查询进行同步,参见典型示例《基于变量实现断点续传和增量抽取》

2. 如果源是dmhs支持的数据库,则可以通过dmhs进行

1.  每次同步前先删除目的表的数据,然后在进行全量同步。

1. 如果源是dmhs支持的数据库,则可以通过dmhs进行

2. Oracle CDC (需要在源库上有oracle cdc的相关权限)

读写

不限

1. Oracle CDC

2.  触发器增量

3.  DMHS

1. 影子表增量

2. MD5增量

表格 2

注:数据量在100w以内的都可以认为是小表,超过100w的为大表。

添加增量表方式

通过工具栏的“数据读取“中的“增量表”选择的数据集,就可以在普通表上添加增量表。比如下图,是在普通表DEPARTMENT_T1上添加的MD5_CDC表。

8e2dc24415d7a973152b3deb0706f1eb.png

图1

表/视图选择的数据集是普通表,增量表比普通表多两列CDC_ID和CDC_OPT(图4),用来记录对源表的操作。当对源表进行插入、更新、删除时,目的表中记录会相应地更改。

本文以增加MD5增量表为例,进行增量演示(该示例可在DMETL示例库中找到,或按如下步骤创建):

1.    创建数据源及目的表

在数据集DMETL_SAMPLE 库下添加表DEPARTMENT_T1、DEPARTMENT_T2(图2),在表DEPARTMENT_T1 处添加MD5 增量表(图3~5):

e5b436706ba77cd37eab5d44f672a018.png

图 2 DEPARTMENT_T1、DEPARTMENT_T2表结构

0c6e7cfc264f00b8222be533b74f2b75.png

图3

1599ca3c554d79670ed209729a9a5597.png

图4

c17c0cce942b790d14eeafd9c7fd1fd7.png

图 5 DEPARTMENT_T1表的MD5增量表DEPARTMENT_T1_MD5_CDC

2.    创建转换

转换名称:“增量表演示”

b7f7a022dfbf0945a062de05c24b48de.png

图6

10714eb4b475fecba4f8f2e232dd72b3.png

图7 转换流程图

图7中源表及目的表分别选择第一步中创建的MD5_CDC表及T2表。

3.    往源表插入、更新数据,执行转换

第一步中创建表后,并没有往表里添加记录

58437bd763fa48ae80e369fff8d6deee.png

图8

接下来,往T1表中增加、更新记录:

c6dfaca730f8742339ade58e77714b9d.png

图9

执行图7所示的转换后,浏览三张表分别得到如图所示结果:

450b819e317699d9fd0db21f7fa3b389.png

图10

增量表:为了方便做增量抽取。增量抽取只抽取自上次抽取以来数据库中要抽取的表中变化的数据,将捕获的变化数据写入到对应的CDC表(增量表)中。在ETL 使用过程中,增量抽取较全量抽取应用更广。如何捕获变化的数据是增量抽取的关键。对捕获方法一般有两点要求:①准确性,能够将业务系统中的变化数据按一定的频率准确地捕获到;②性能,不能对业务系统造成太大的压力,影响现有业务。本文以MD5增量为例,对增量抽取流程做了简单介绍,实际使用中请考虑系统特性,选择合适的增量抽取方式。

1f2f3c943cfbd19cfb3a5d39d14a33e5.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/542944.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计算机英语论文摘要,求英语高手翻译论文摘要,非常感谢!

彭洁回答:Thispaperdescribesacomputerlinecuttingtechnologyandcomputeranimationtechnology.Computertechnologyiscuttingwillbedesignatedasagraphicswindowborder,fromalargescreentoextracttherequiredspecificinformation,toshowapartialpictureorView.Comput…

AIX配置Volumn

我们知道,现在操作系统都具有默认的卷管理系统来管理磁盘。详见存储技术之卷管理和文件系统。总体来说,从下向上分为物理磁盘(PV)、逻辑卷组(VG)、逻辑卷(LV),用户可以直接mount的是逻辑卷。本文记录一些AIX下的卷管理和配置方法。 AIX下的Vo…

高并发内存占用持续下降_师兄,为什么删除数据后,Redis内存占用依然很高?...

前言上周刚来了个应届小师弟,组长说让我带着,周二问了我这样一个问题:师兄啊,我用top命令看了下服务器的内存占用情况,发现Redis内存占用严重,于是我就删除了大部分不用的keys,为什么内存占用还…

发现保存GIF格式后相素发生变化咋办

数学公式编辑器MathType主要的作用就是编辑公式用的,一些用户朋友编辑完公式希望把公式保存为“高分辨率”的GIF格式,但是在图片查看器中进行浏览查看时发现GIF的分辨率发生了变化,对于这种情况该如何处理呢?下面我们就针对这个问…

湖北计算机技能高考专科学校排名,湖北2021年技能高考专科录取分数线

https://forms.ebdan.net/ls/wg2YPHOQ点击查看全部院校武汉船舶职业技术学院:技能高考(机械类)507技能高考(电气电子类)437技能高考(计算机类)532技能高考(财经类)530技能高考(建筑设计类)319技能高考(旅游类)489技能高考(汽车维修类)466湖北科技职业学院&#xff1…

7月19日实习日志

今天是实习第十二天,时间过得很快一转眼实习一般都已经过去了,今天早上下了大雨,到单位的时候差一点迟到。 今天难道单位公司的同事就带领着我给公司的防火请升级,防火墙可以是一套硬件或软件,它在网络和互联网之间形成…

计算机考研985院校不歧视,考研最不歧视的985大学有哪些

考研最不歧视的大学有很多,其中985院校有哈尔滨工业大学、对外经济贸易大学、中南大学、河南大学和华东师范大学等。哪些985大学不歧视考研考生1、哈尔滨工业大学面试除了自我介绍,其他都不透露自己的信息,面试老师也都不知道,都是…

Python | Tkinter中的文本区域和按钮

Library: 图书馆: TkinterTkinter (Tkinter) Tkinter(Tk interface) is a Standard python library that is used to create easy, fast, and simple GUI applications. Tkinter(Tk接口)是一个标准的python库,用于创建简单,快速和简单的GUI应…

十六进制转八进制c++代码_如何将十六进制代码上传到微控制器?

十六进制转八进制c代码Read: 8051 Microcontroller programming using Keil Uvision IDE 阅读: 使用Keil Uvision IDE进行8051单片机编程 将HEX文件上传到微控制器 (Uploading a HEX file to Microcontroller) Once you have developed the hex code for the progr…

java工程师占比_Java工资怎么样?哪个地方Java工作机会最多?

随着IT产业的发展,JAVA语言因其独有的特点,使其在各项服务器中应用程序的开发所占有一定的优势,随着JSP技术的发展,使Java语言的网络应用更为实际化、更高效快捷,成为IT产业常用的技术。 越来越多的企业,因…

Nginx主配置文件nginx.conf中文详解

第1章 nginx配置解释图解第2章 Nginx核心配置文件nginx.conf史上最细中文详解2.1 定义Nginx运行的用户和用户组2.2 nginxworker进程数,即处理请求的进程(熟称负责接客的服务员)2.3 cpu亲和力配置,让不同的进程使用不同的cpu2.4 全…

0到100速度测试软件,【图】到底如何完成 揭晓0-100公里/小时测试_汽车江湖

经常浏览汽车网站的朋友应该对0-100公里/小时加速测试并不会感到陌生,几乎所有深度测试车型都会经历的考验,而在各个汽车官网上通常也会将这一数值标出。然而,这个成绩到底是如何测出的,或许大多数人并不十分知晓,接下…

计算机毕业设计谢辞怎么写,毕业论文谢辞怎么写(通用8篇)

毕业论文谢辞怎么写(通用8篇)一段忙碌又充实的大学生活要即将结束,毕业前要通过最后的毕业论文,毕业论文是一种有准备、有计划、比较正规的、比较重要的检验大学学习成果的形式,那么你有了解过毕业论文吗?以下是小编为大家整理的毕…

J2EE基础之Web服务简介

J2EE基础之Web服务简介 1、什么是Web服务? 在人们的日常生活中,经常会查询网页上某城市的天气信息,这些信息都是动态的、实时的,它是专业的气象站提供的一种服务。例如,在网上购物时,通常采用网上支付的方式…

计算机安装重装出现错误,一键重装失败怎么办?电脑重装系统失败的原因和解决方法...

在电脑出现问题的时候,我们可以通过重装系统来解决电脑问题。但有的时候重装系统失败,无法进行安装,这可怎么办呢?下面就让小编为大家带来电脑重装系统失败的原因和解决方法。1、启用了防毒功能问:当重装系统时&#x…

System Center Technical Preview DPM(2016)对Exchange2016的灾难恢复

其实备份很简单,就是做好备份计划即可,但往往客户最担心的是备份的东西在真的灾难恢复时是否可以恢复出来可用,这才是考验备份软件的最关键时刻,因此象备份Exchange这样的应用时对于管理员来说除了会玩备份软件外还需要熟悉Exchan…

教你在Ubuntu上体验Mac风格

导读老实说,我是个狂热的 Ubuntu 迷,我喜欢 Ubuntu 默认的 Unity 主题样式外观。此外,还有很多关于 Ubuntu 14.04 的漂亮图标主题样式 可用来美化默认的外观。但正如我上面提到的仍有很多用户喜欢 Mac OS X 的主题样式,我希望这篇…

在Python中升级灰度图像

Upscaling of an image refers to enlarging the size of an image. 图像放大是指放大图像的大小。 In this program, we will be using two functions of OpenCV-python (cv2) module.. lets see their syntax and descriptions first 在此程序中,我们将使用Open…

安卓投屏软件_有哪些好用又免费的手机投屏到电脑的软件?

推荐一款免费、好用的投屏软件,叫做【快投屏】,支持多端无线一键投屏、远程投屏,不限制使用时间,不压缩投屏画质。快投屏 - 手机投屏到电视,电脑的无线投屏软件​支持以下几种投屏:手机投电视手机投电脑手机投手机电脑…

dnf韩服服务器维护中,DNF2019韩服4.30维护:这些职业被加强

DNF韩服4.30维护DNF2019韩服4.30更新内容 DNF95版本4.30韩服更新内容 DNF95版本职业平衡。相信大家都很想知道吧,一起来看看吧。地下城一直被称为鬼剑士的游戏,无论是在何地图,如果看不到鬼剑士的话那就是太阳打西边出来了,9成勇士…