Oracle GoldenGate微服务架构

Oracle GoldenGate支持两种架构,经典架构和微服务架构(MA)。

可以出于以下目的配置Oracle GoldenGate:

  • 从一个数据库中静态提取数据记录,并将这些记录加载到另一个数据库中。
  • 连续提取和复制事务性数据处理语言(DML)操作和数据定义语言(DDL)更改(对于受支持的数据库),以保持源数据和目标数据的一致性。
  • 使用Oracle GoldenGate for Big Data从受支持的数据库源提取数据并将其复制到Big Data和文件目标。

一、Oracle GoldenGate体系结构概述

下表描述了两种Oracle GoldenGate体系结构以及何时使用每种体系结构。

经典架构微服务架构
它是什么?Oracle GoldenGate经典体系结构是企业复制的原始体系结构。该体系结构提供了有效地跨各种拓扑传输事务数据所需的过程和文件。这些过程和文件构成经典体系结构的主要组成部分,并且是Oracle GoldenGate 12 c (12.3.0.1)发行之前的主要产品安装方法。Oracle GoldenGate微服务体系结构是一种微服务体系结构,它使REST服务成为Oracle GoldenGate环境的一部分。支持REST的服务提供了API端点,这些端点可通过基于Web的控制台,增强的命令行界面,PL / SQL和脚本语言来用于远程配置,管理和监视。
什么时候使用它?只有在以下情况中提到的MA版本不适用于该平台时,才可以将Oracle GoldenGate安装和配置为使用Oracle GoldenGate Classic体系结构:从一个数据库中静态提取数据记录,并将这些记录加载到另一个数据库中。连续提取和复制事务性数据操作语言(DML)操作和数据定义语言(DDL)更改(对于受支持的数据库),以保持源数据和目标数据的一致性。从数据库提取并复制到数据库外部的文件。从异构数据库源捕获。可以 出于以下目的将Oracle GoldenGate安装和配置为使用Oracle GoldenGate微服务体系结构:具有完全安全的HTTPS接口和用于流数据的安全WebSocket的大规模和云部署。简化对Oracle GoldenGate环境的多种实现的管理,并控制用户对Oracle GoldenGate设置和监视的不同方面的访问。支持系统管理的数据库分片,以提供细粒度的多主复制,其中所有分片都是可写的,并且每个分片都可以部分复制到分片组内的其他分片中。支持以下功能:瘦客户端和基于浏览器的客户端网络安全用户授权分布式部署远程管理绩效监控与编排与Oracle数据库环境中的其他系统和服务进行协调。将Oracle GoldenGate自定义嵌入到应用程序中,或使用安全的远程HTML5应用程序。
支持哪些数据库?根据认证矩阵, Classic Architecture支持所有受支持的数据库 。MA仅支持Oracle数据库的端到端纯MA拓扑。但是,可以将与异构数据库关联的源Oracle GoldenGate Classic复制到具有Oracle的目标Oracle GoldenGate MA,或将源Oracle GoldenGate MA与Oracle复制到具有异构数据库的目标Oracle GoldenGate传统。

二、Oracle GoldenGate支持的处理方法和数据库

Oracle GoldenGate支持在整个企业的多个异构平台之间在事务级别交换和处理数据。它以事务完整性和最小的现有基础架构开销移动已提交的事务。它的模块化体系结构使您可以灵活地提取和复制所选数据记录,事务性更改以及跨各种拓扑的DDL(数据定义语言)更改。

注意:对DDL,某些拓扑以及捕获或交付配置的支持因数据库类型而异。有关受支持的功能和配置的详细信息,请参见使用Oracle GoldenGate用于Oracle数据库和Oracle Oracle GoldenGate用于异构数据库。

这是受支持的处理方法的列表。

Database基于日志的提取(捕获)基于非日志的提取 (捕获)复制(交付)
DB2 for iN/AN/AX
DB2 LUWXN/AX
DB2 z/OSXN/AX
Oracle DatabaseXN/AX
MySQLXN/AX
SQL ServerN/AXX
TerradataN/AN/AX

三、Oracle GoldenGate微服务架构的组件

您可以使用Oracle GoldenGate微服务 体系结构通过HTML用户界面配置和管理数据复制。

Oracle GoldenGate MA包含五个主要组件。下图说明了复制过程如何在安全的REST API环境中运行。

ggcon_dt_005a_servarch.jpg的描述如下

该的Oracle GoldenGate MA提供了所有你需要配置,监视和管理部署和安全工具。它使用行业标准的HTTPS通信协议和JavaScript Object Notation(JSON)数据交换格式进行设计。此外,该体系结构还使您能够使用基本身份验证或安全套接字层客户端证书来验证客户端的身份。

下图显示了各种客户端(Oracle产品,命令行,浏览器和程序化REST API接口),您可以使用它们来使用服务接口来管理部署。

ggcon_dt_004a_clients.png的描述如下

1、Service Manage?

Service Manager充当Microservices Architecture可用的其他服务的监视者。

Service Manager允许您管理本地主机上的一个或多个Oracle GoldenGate部署。

Service Manager可以作为系统服务运行,并维护有关您的部署的清单和配置信息,并允许您维护多个本地部署。使用服务管理器,您可以启动和停止实例,以及查询部署和其他服务。

2、Administration Server

Administration Server监督,管理,管理和监视Oracle GoldenGate部署中的流程。

管理服务器充当中央控制实体,用于管理Oracle GoldenGate部署中的复制组件。您可以使用它来创建和管理本地的Extract和Replicat进程,而不必访问安装了Oracle GoldenGate的服务器。Administration Server的关键功能是REST API服务接口,可以从任何HTTP或HTTPS客户端(例如,微服务体系结构服务接口)或其他客户端(例如,Perl和Python)进行访问。

此外,可以使用Admin Client进行REST API调用以直接与Administration Server通信,请参阅什么是Admin Client?

Administration Server负责协调和编排摘录,复制品和路径,以支持更高的自动化和运营管理。它的操作和行为通过已发布的查询和服务接口进行控制。这些接口允许客户端使用支持REST API接口的REST JSON-RPC调用向Administration Server发出命令和控制指令。

管理服务器包含一个嵌入式Web应用程序,您可以直接将其与任何Web浏览器一起使用,并且不需要安装任何客户端软件。

使用管理服务器来创建和管理:

  • 提取和复制过程
    • 添加,更改和删除
    • 注册和注销
    • 开始和停止
    • 查看流程信息,统计信息,报告和状态,包括LAG和检查点
    • 检索报告并丢弃文件
  • 配置(参数)文件
  • 检查点,跟踪和心跳表
  • 用于过程复制,模式和表的补充日志记录
  • 定制和标准任务,例如自动重启和清除跟踪
  • 凭证存储
  • 加密密钥(MASTERKEY
  • 添加用户并分配他们的角色

3、Receiver Server

Receiver Server是处理所有传入跟踪文件的中央控制服务。它与分发服务器互操作,并与用于远程经典部署的经典体系结构泵兼容。

Receiver Server用单个实例服务替换多个离散的目标端收集器。

使用Receiver Server可以:

  • 监视路径事件
  • 查询输入路径的状态
  • 查看传入路径的统计信息
  • 诊断路径问题

WebSockets是Receiver Server使用的默认HTTPS启动的全双工流协议。它使您可以使用SSL安全性完全保护数据。接收器服务器无缝地遍历HTTP正反向代理服务器,如图2- *所示。

serarchwebsocket.png的描述如下
插图说明serarchwebsocket.png

此外,Receiver Server支持以下协议:

  • UDT-用于广域网的基于UDP的协议。有关更多信息,请参见http://udt.sourceforge.net/。
  • 经典Oracle GoldenGate协议-用于经典部署,以便分发服务器与收集器通信,数据泵与接收器服务器通信。

注意:在经典和微服务体系结构的混合环境中,TCP加密不起作用。无法将微服务体系结构中的分发服务器配置为使用TCP加密与部署中运行的经典体系结构中的服务器收集器进行通信。而且,微服务体系结构中的Receiver Server无法接受来自经典体系结构中的数据泵的连接请求,该数据泵配置了RMTHOST ... ENCRYPT在部署中运行的参数。

4、Distribution Server

Distribution Server是一项服务,它充当网络数据分发代理,以支持在分布式部署中传输和处理数据和命令。这是一个高性能的应用程序,能够同时处理来自多个源跟踪文件的多个命令和数据流。

Distribution Server用单个实例服务代替了传统的多个源端数据泵。该服务器将一个或多个路径分布到一个或多个目的地,并且仅提供轻量级筛选(不进行转换)。

可以使用多种通信协议,这使您能够基于每个路径调整网络参数。这些协议包括:

  • Oracle GoldenGate协议,用于在非基于服务的(经典)目标中在分发服务器和收集器之间进行通信。用于互操作性。

    注意:在经典和微服务体系结构的混合环境中,TCP加密不起作用。无法将微服务体系结构中的分发服务器配置为使用TCP加密与部署中运行的经典体系结构中的服务器收集器进行通信。而且,微服务体系结构中的Receiver Server无法接受来自经典体系结构中的数据泵的连接请求,该数据泵配置了RMTHOST ... ENCRYPT在部署中运行的参数。

  • 用于基于HTTPS的流传输的WebSockets,它依赖于SSL安全性。

  • 适用于广域网的UDT。

  • 对云环境的代理支持:

    • SOCKS5适用于任何网络协议。
    • HTTP仅用于HTTP类型的协议,包括WebSocket。
  • 被动分发服务器以从远程站点启动路径创建。路径是源到目标的复制配置,但未包含在此版本中。

注意:此服务没有内容转换。

5、Performance Management Server

要访问Performance Management Server API,您需要Oracle GoldenGate管理包插件。

Performance Metrics Server使用指标服务来收集和存储实例部署性能结果。此度量标准收集和存储库与管理层信息收集是分开的。您可以使用其他嵌入式Web应用程序监视性能指标,并使用数据调整部署以实现最佳性能。所有Oracle GoldenGate 进程都将指标发送到Performance Metrics Server。您可以在微服务体系结构和经典体系结构中使用Performance Metrics Server 。

使用性能指标服务器可以:

  • 查询各种指标并以服务JSON格式或经典XML格式接收响应
  • 集成第三方指标工具
  • 查看错误日志
  • 查看活动过程状态
  • 监控系统资源利用率

6、Admin Client

Admin Client是一个命令行实用程序(类似于经典的GGSCI实用程序)。您可以使用它来发布配置,控制和监视Oracle GoldenGate的完整命令。

Admin Client用于创建,修改和删除流程,而不是使用MA。MA服务(例如管理,分发和其他服务器)不使用它。例如,您可以使用Admin Client执行创建摘录所需的所有命令或自定义新的摘录应用程序,或者使用MA附带的管理服务器来配置摘录。

注意:

确保OGG_HOMEOGG_VAR_HOME以及OGG_ETC_HOME正确的环境设置。

在支持MA设计的某些方面,使用Admin Client相似的方式有所不同:

GGSCIAdmin Client
连接到本地流程连接到任何MA部署
需要本地计算机访问权限,通常是SSH需要HTTP或HTTPS访问
本地执行的应用程序逻辑远程执行应用程序逻辑
需要连接到DBMS无需连接到DBMS
使用操作系统安全性使用MA安全性
一次认证和授权每次操作均经过身份验证和授权
没有特殊的连接语义需要一个CONNECT命令
支持USERIDPASSWORDUSERIDALIASUSERIDALIAS仅 支持
REGISTER EXTRACT 之前 ADD EXTRACTREGISTER EXTRACTADD EXTRACT
非安全通信使用SSL的加密通信
使用泵工艺使用分发服务器

Admin Client是以GGSCI为基础设计的。下表描述了Admin Client中新的,删除的和不推荐使用的命令:

New CommandsDeleted Commands and Processes:Deprecated Commands
CONNECT DISCONNECT [START | STATUS | STOP] SERVICE [ADD | ALTER | DELETE | INFO | [KILL START | STATS | STOP] [EDIT | VIEW] GLOBALS CD* MGR * JAGENT * CREATE DATASTORE SUBDIRS FC DUMPDDL INFO MARKERADD CREDENTIALSTORE [CREATE | OPEN] WALLET

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/535768.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Oracle GoldenGate经典架构

可以使用Oracle GoldenGate Classic Architecture从命令行配置和管理数据复制。 图示的说明logicalarch2.png 注意: 这是基本配置。根据业务需求和用例,可以配置此模型的不同变体。 1、Manager Manager是Oracle GoldenGate的控制过程。必须先在Oracl…

awk教程入门与实例练习(一)

Awk 是一种非常好的语言,同时有一个非常奇怪的名称。在本系列(共三篇文章)的第一篇文章中,Daniel Robbins 将使您迅速掌握 awk 编程技巧。随着本系列的进展,将讨论更高级的主题,最后将演示一个真正的高级 a…

HDFS-简介

HDFS 是 Hadoop Distribute File System 的简称,意为:Hadoop 分布式文件系统,是一种旨在在商品硬件上运行的分布式文件系统。它与现有的分布式文件系统有许多相似之处。但是,与其他分布式文件系统的区别很明显。HDFS具有高度的容错…

JDK源码解析之 java.lang.Thread

位于java.lang包下的Thread类是非常重要的线程类,它实现了Runnable接口,今天我们来学习一下Thread类,在学习Thread类之前,先介绍与线程相关知识:线程的几种状态、上下文切换,然后接着介绍Thread类中的方法的…

HDFS-文件读写过程

一、文件读取 Client向NameNode发起RPC请求,来确定请求文件block所在的位置;NameNode会视情况返回文件的部分或者全部block列表,对于每个block,NameNode 都会返回含有该 block 副本的 DataNode 地址; 这些返回的 DN 地…

Hive-简介入门

Hive简介 Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。互联网现在进入了大数据时代,大数据是现在互联网的趋势,而hadoop就是大数据时代里的核心技术,但是hadoop的mapreduce操作专业性太强&#xff0…

Hive-原理解析

一、Hive 架构 下面是Hive的架构图。 Hive的体系结构可以分为以下几部分 1、用户接口:CLI(hive shell);JDBC(java访问Hive);WEBUI(浏览器访问Hive) 2、元数据&#x…

JDK源码解析之 java.lang.ClassLoader

Class代表它的作用对象是类&#xff0c;Loader代表它的功能是加载&#xff0c;那么ClassLoader就是把一个以.class结尾的文件以JVM能识别的存储形式加载到内存中。 一、核心方法 1、loadClass方法 protected Class<?> loadClass(String name, boolean resolve) throws…

JDK源码解析之 Java.lang.Package

如果我们在Class对象上调用getPackage方法&#xff0c;就可以得到描述该类所在包的Package对象(Package类是在java.lang中定义的)。我们也可以用包名通过调用静态方法getPackage或者调用静态方法getPackages(该方法返回由系统中所有已知包构成的数组)来获得Package对象。getNam…

Docker入门-架构

Docker 包括三个基本概念: 镜像&#xff08;Image&#xff09;&#xff1a;Docker 镜像&#xff08;Image&#xff09;&#xff0c;就相当于是一个 root 文件系统。比如官方镜像 ubuntu:16.04 就包含了完整的一套 Ubuntu16.04 最小系统的 root 文件系统。容器&#xff08;Cont…

Docker原理之Namespaces

命名空间&#xff08;namespaces&#xff09;是 Linux 为我们提供的用于分离进程树、网络接口、挂载点以及进程间通信等资源的方法。 一、Namespaces 在日常使用 Linux 或者 macOS 时&#xff0c;我们并没有运行多个完全分离的服务器的需要&#xff0c;但是如果我们在服务器上启…

Docker原理之CGroups

控制组&#xff08;cgroups&#xff09;是 Linux 内核的一个特性&#xff0c;主要用来对共享资源进行隔离、限制、审计 等。只有能控制分配到容器的资源&#xff0c;才能避免当多个容器同时运行时的对系统资源的竞争。控制组技术最早是由 Google 的程序员 2006 年起提出&#x…

Docker原理之UnionFS

一、UnionFS Linux 的命名空间和控制组分别解决了不同资源隔离的问题&#xff0c;前者解决了进程、网络以及文件系统的隔离&#xff0c;后者实现了 CPU、内存等资源的隔离&#xff0c;但是在 Docker 中还有另一个非常重要的问题需要解决 - 也就是镜像。 镜像到底是什么&#…

Docker使用-构建MySQL

拉取官方镜像&#xff08;我们这里选择5.7&#xff0c;如果不写后面的版本号则会自动拉取最新版&#xff09; docker pull mysql:5.7 # 拉取 mysql 5.7 docker pull mysql # 拉取最新版mysql镜像MySQL文档地址 检查是否拉取成功 $ sudo docker images一般来说数据库容…

Java集合:什么是Java集合?

一、集合的由来 通常&#xff0c;我们的Java程序需要根据程序运行时才知道创建了多少个对象。但若非程序运行&#xff0c;程序开发阶段&#xff0c;我们根本不知道到底需要多少个数量的对象&#xff0c;甚至不知道它的准确类型。为了满足这些常规的编程需要&#xff0c;我们要…

Java集合:Map集合

一、简述 public interface Map<K,V>将键映射到值的对象。一个映射不能包含重复的键&#xff1b;每个键最多只能映射到一个值。 注意&#xff1a;Map中的集合不能包含重复的键&#xff0c;值可以重复。每个键只能对应一个值。 Map集合是键值对形式存储值的&#xff0c…

用离线编辑器Zoundry写zblog日志

Zoundry是免费的离线网志发布工具&#xff0c;由于家里的网络很差&#xff0c;写了一半的日志经常因为掉线而丢失&#xff0c;这样一款软件的确是很必要的。今天下载试用了一下&#xff0c;感觉的确不错。使用起来也很简单&#xff1a; 1.下载并安装zoundry软件&#xff1a;现…

Flume简单介绍

在一个完整的离线大数据处理系统中&#xff0c;除了HDFSMapReduceHive组成分析系统的核心之外&#xff0c;还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统&#xff0c;而这些辅助工具在hadoop生态体系中都有便捷的开源框架&#xff0c;在此&#xff0c;我们首先来…

Java并发篇_线程详解

线程&#xff08;thread&#xff09; 是操作系统能够进行运算调度的最小单位。它被包含在进程之中&#xff0c;是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流&#xff0c;一个进程中可以并发多个线程&#xff0c;每条线程并行执行不同的任务。 一、线程的…

Spark-大规模数据处理计算引擎

官网&#xff1a;http://spark.apache.org 一、Spark是什么 Spark是一种快速、通用、可扩展的大数据分析引擎&#xff0c;2009年诞生于加州大学伯克利分校AMPLab&#xff0c;2010年开源&#xff0c;2013年6月成为Apache孵化项目&#xff0c;2014年2月成为Apache顶级项目。项目是…