Oracle GoldenGate经典架构

可以使用Oracle GoldenGate Classic Architecture从命令行配置和管理数据复制。

逻辑的描述如下
图示的说明logicalarch2.png

注意:

这是基本配置。根据业务需求和用例,可以配置此模型的不同变体。

1、Manager

Manager是Oracle GoldenGate的控制过程。必须先在Oracle GoldenGate配置中的每个系统上运行Manager,然后才能启动提取或复制过程。

在运行Extract和Replicat进程时,Manager也必须保持运行状态,以便执行资源管理功能。一个Manager进程可以控制许多Extract或Replicat进程。

Manager执行以下功能:

  • 启动Oracle GoldenGate流程
  • 启动动态过程
  • 维护进程的端口号
  • 根据保留规则清除跟踪文件
  • 创建事件,错误和阈值报告

2、Data Pump

Data Pump是源Oracle GoldenGate配置中的辅助Extract组。

如果配置Data Pump,则“提取”过程会将所有捕获的操作写入源数据库上的跟踪文件。Data Pump读取源数据库上的跟踪文件,并将数据操作通过网络发送到目标数据库上的远程跟踪文件。对于大多数配置,强烈建议配置数据泵。如果未使用Data Pump,则Extract将所有捕获的操作流式传输到远程目标数据库上的跟踪文件。但是,在具有数据泵的典型配置中,主“提取”组写入源系统上的路径。Data Pump读取此跟踪,并将数据操作通过网络发送到目标上的远程跟踪。

通常,数据泵可以执行数据过滤,映射和转换

可以通过两种方式配置数据泵:

  • 执行数据操作:可以将数据泵配置为执行数据过滤,映射和转换。
  • 不执行任何数据处理:可以将数据泵配置为直通模式,在该模式下,数据可以按原样被动传输,而无需进行操作。直通模式可提高数据泵的吞吐量,因为所有查找对象定义的功能都被绕过了。

尽管配置Data Pump是可选的,但Oracle建议在大多数配置中使用它。使用数据泵的一些原因包括:

  • **防范网络和目标故障:**在基本的Oracle GoldenGate配置中,目标系统上只有一个路径,源系统上没有任何地方可以存储Extract连续提取到内存中的数据操作。如果网络或目标系统不可用,则Extract可能会耗尽内存并异常终止。但是,通过在源系统上安装跟踪和数据泵,可以将捕获的数据移至磁盘,从而防止主提取程序异常终止。恢复连接性后,数据泵将从源路径捕获数据,并将其发送到目标系统。
  • **您正在实现数据过滤或转换的多个阶段。**使用复杂的筛选或数据转换配置时,可以将数据泵配置为在源系统或目标系统上,甚至在中间系统上执行第一次转换,然后使用另一个数据泵或复制组来执行第二次转型。
  • **将来自许多来源的数据整合到一个中心目标中。**将多个源数据库与中央目标数据库同步时,可以在每个源系统上存储提取的数据操作,并在每个系统上使用数据泵将数据发送到目标系统上的路径。在源系统和目标系统之间分配存储负载可以减少目标系统上需要大量空间来容纳来自多个源的数据。
  • **将一个源与多个目标同步。**将数据发送到多个目标系统时,可以在源系统上为每个目标配置数据泵。如果与任何目标的网络连接失败,则仍可以将数据发送到其他目标。

3、Collector

Collector由管理器进程启动,并且是在目标系统的后台运行的进程。它将事务数据重组为目标跟踪。

当Manager收到来自Extract进程的连接请求时,收集器将扫描并绑定到可用端口,并将端口号发送给Manager以分配给请求的Extract进程。收集器还接收提取过程发送的捕获数据,并将其写入远程跟踪文件。

需要网络连接时,Manager会自动启动收集器,因此Oracle GoldenGate用户不会与其进行交互。收集器只能从一个提取过程中接收信息,因此您使用的每个提取都有一个收集器。当关联的提取过程终止时,收集器终止。

注意:如果需要,收集器可以手动运行。这称为静态收集器(与常规的动态收集器相对)。多个提取过程可以共享一个静态收集器;但是,一对一的比例是最佳的。可以使用静态收集器来确保进程在特定端口上运行。

默认情况下,Extract启动从源系统到目标上的Collector的TCP / IP连接,但是可以配置Oracle GoldenGate,以便Collector发起来自目标的连接。例如,如果目标位于受信任的网络区域中,而源位于不受信任的区域中,则可能需要从目标启动连接。

4、GGSCI

可以使用Oracle GoldenGate软件命令界面(GGSCI)命令来创建数据复制。这是您和Oracle GoldenGate功能组件之间的命令界面。

要启动GGSCI,请将目录更改为Oracle GoldenGate安装目录,然后运行ggsci 可执行文件。

注意:OGG_HOME必须先设置环境变量, 然后才能启动GGSCI。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/535767.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

awk教程入门与实例练习(一)

Awk 是一种非常好的语言,同时有一个非常奇怪的名称。在本系列(共三篇文章)的第一篇文章中,Daniel Robbins 将使您迅速掌握 awk 编程技巧。随着本系列的进展,将讨论更高级的主题,最后将演示一个真正的高级 a…

HDFS-简介

HDFS 是 Hadoop Distribute File System 的简称,意为:Hadoop 分布式文件系统,是一种旨在在商品硬件上运行的分布式文件系统。它与现有的分布式文件系统有许多相似之处。但是,与其他分布式文件系统的区别很明显。HDFS具有高度的容错…

JDK源码解析之 java.lang.Thread

位于java.lang包下的Thread类是非常重要的线程类,它实现了Runnable接口,今天我们来学习一下Thread类,在学习Thread类之前,先介绍与线程相关知识:线程的几种状态、上下文切换,然后接着介绍Thread类中的方法的…

HDFS-文件读写过程

一、文件读取 Client向NameNode发起RPC请求,来确定请求文件block所在的位置;NameNode会视情况返回文件的部分或者全部block列表,对于每个block,NameNode 都会返回含有该 block 副本的 DataNode 地址; 这些返回的 DN 地…

Hive-简介入门

Hive简介 Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。互联网现在进入了大数据时代,大数据是现在互联网的趋势,而hadoop就是大数据时代里的核心技术,但是hadoop的mapreduce操作专业性太强&#xff0…

Hive-原理解析

一、Hive 架构 下面是Hive的架构图。 Hive的体系结构可以分为以下几部分 1、用户接口:CLI(hive shell);JDBC(java访问Hive);WEBUI(浏览器访问Hive) 2、元数据&#x…

JDK源码解析之 java.lang.ClassLoader

Class代表它的作用对象是类&#xff0c;Loader代表它的功能是加载&#xff0c;那么ClassLoader就是把一个以.class结尾的文件以JVM能识别的存储形式加载到内存中。 一、核心方法 1、loadClass方法 protected Class<?> loadClass(String name, boolean resolve) throws…

JDK源码解析之 Java.lang.Package

如果我们在Class对象上调用getPackage方法&#xff0c;就可以得到描述该类所在包的Package对象(Package类是在java.lang中定义的)。我们也可以用包名通过调用静态方法getPackage或者调用静态方法getPackages(该方法返回由系统中所有已知包构成的数组)来获得Package对象。getNam…

Docker入门-架构

Docker 包括三个基本概念: 镜像&#xff08;Image&#xff09;&#xff1a;Docker 镜像&#xff08;Image&#xff09;&#xff0c;就相当于是一个 root 文件系统。比如官方镜像 ubuntu:16.04 就包含了完整的一套 Ubuntu16.04 最小系统的 root 文件系统。容器&#xff08;Cont…

Docker原理之Namespaces

命名空间&#xff08;namespaces&#xff09;是 Linux 为我们提供的用于分离进程树、网络接口、挂载点以及进程间通信等资源的方法。 一、Namespaces 在日常使用 Linux 或者 macOS 时&#xff0c;我们并没有运行多个完全分离的服务器的需要&#xff0c;但是如果我们在服务器上启…

Docker原理之CGroups

控制组&#xff08;cgroups&#xff09;是 Linux 内核的一个特性&#xff0c;主要用来对共享资源进行隔离、限制、审计 等。只有能控制分配到容器的资源&#xff0c;才能避免当多个容器同时运行时的对系统资源的竞争。控制组技术最早是由 Google 的程序员 2006 年起提出&#x…

Docker原理之UnionFS

一、UnionFS Linux 的命名空间和控制组分别解决了不同资源隔离的问题&#xff0c;前者解决了进程、网络以及文件系统的隔离&#xff0c;后者实现了 CPU、内存等资源的隔离&#xff0c;但是在 Docker 中还有另一个非常重要的问题需要解决 - 也就是镜像。 镜像到底是什么&#…

Docker使用-构建MySQL

拉取官方镜像&#xff08;我们这里选择5.7&#xff0c;如果不写后面的版本号则会自动拉取最新版&#xff09; docker pull mysql:5.7 # 拉取 mysql 5.7 docker pull mysql # 拉取最新版mysql镜像MySQL文档地址 检查是否拉取成功 $ sudo docker images一般来说数据库容…

Java集合:什么是Java集合?

一、集合的由来 通常&#xff0c;我们的Java程序需要根据程序运行时才知道创建了多少个对象。但若非程序运行&#xff0c;程序开发阶段&#xff0c;我们根本不知道到底需要多少个数量的对象&#xff0c;甚至不知道它的准确类型。为了满足这些常规的编程需要&#xff0c;我们要…

Java集合:Map集合

一、简述 public interface Map<K,V>将键映射到值的对象。一个映射不能包含重复的键&#xff1b;每个键最多只能映射到一个值。 注意&#xff1a;Map中的集合不能包含重复的键&#xff0c;值可以重复。每个键只能对应一个值。 Map集合是键值对形式存储值的&#xff0c…

用离线编辑器Zoundry写zblog日志

Zoundry是免费的离线网志发布工具&#xff0c;由于家里的网络很差&#xff0c;写了一半的日志经常因为掉线而丢失&#xff0c;这样一款软件的确是很必要的。今天下载试用了一下&#xff0c;感觉的确不错。使用起来也很简单&#xff1a; 1.下载并安装zoundry软件&#xff1a;现…

Flume简单介绍

在一个完整的离线大数据处理系统中&#xff0c;除了HDFSMapReduceHive组成分析系统的核心之外&#xff0c;还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统&#xff0c;而这些辅助工具在hadoop生态体系中都有便捷的开源框架&#xff0c;在此&#xff0c;我们首先来…

Java并发篇_线程详解

线程&#xff08;thread&#xff09; 是操作系统能够进行运算调度的最小单位。它被包含在进程之中&#xff0c;是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流&#xff0c;一个进程中可以并发多个线程&#xff0c;每条线程并行执行不同的任务。 一、线程的…

Spark-大规模数据处理计算引擎

官网&#xff1a;http://spark.apache.org 一、Spark是什么 Spark是一种快速、通用、可扩展的大数据分析引擎&#xff0c;2009年诞生于加州大学伯克利分校AMPLab&#xff0c;2010年开源&#xff0c;2013年6月成为Apache孵化项目&#xff0c;2014年2月成为Apache顶级项目。项目是…

CentOS7下Spark集群的安装

从物理部署层面上来看&#xff0c;Spark主要分为两种类型的节点&#xff0c;Master节点和Worker节点&#xff0c;Master节点主要运行集群管理器的中心化部分&#xff0c;所承载的作用是分配Application到Worker节点&#xff0c;维护Worker节点&#xff0c;Driver&#xff0c;Ap…