Flink CDC 读取oracle库数据性能优化

       通过综合考虑Oracle数据库配置、Flink作业配置以及其他优化措施,可以显著提升Flink CDC读取Oracle库数据的性能和效率。可以从以下几个方面进行:

一、Oracle数据库配置优化

  1. 开启归档日志‌:
    • 通过执行sqlplus /assysdba或sqlplus/nolog命令连接数据库。
    • 使用archive log list命令检查归档日志是否开启。
    • 配置归档日志参数,如设置db_recovery_file_dest_size和db_recovery_file_dest。
    • 创建表空间并启用归档日志。
  2. 优化日志参数‌:
    • 调整Oracle数据库的日志刷新参数,如log_buffer_size和log_write_batch_size,以减少日志刷新到磁盘的时间。
    • 增加redo log大小和减少归档频率,以减少CDC日志的延迟。
  3. 启用CDC功能‌:
    • 确保Oracle数据库中启用了CDC(Change Data Capture)功能。
  4. 使用并行查询‌:
    • 在Oracle数据库中使用并行查询以提高查询性能,从而减少延迟。

二、Flink作业配置优化

  1. 增加并行度‌:
    • 在Flink作业中增加并行度(parallelism),以并行处理CDC事件,从而减少延迟。
    • 根据数据源的负载和Flink集群的计算能力,合理设置并行度。
  2. 优化Checkpointing‌:
    • 调整Checkpointing间隔和模式,以减少Checkpointing对性能的影响。
    • 使用合适的状态后端,如RocksDB或HBase,以提高状态管理的性能。
  3. 调整fetchTimeout和parallelism参数‌:
    • 增加fetchTimeout参数的值,让Flink CDC在读取Oracle数据库时更加宽松。
    • 在Flink SQL中设置parallelism参数来调整并行度。
  4. 使用连接池‌:
    • 配置连接池(如DBCP或HikariCP)来复用数据库连接,减少新建和销毁session的开销。
  5. 优化网络和I/O‌:
    • 使用高速网络减少数据传输延迟。
    • 使用SSD或NVMe存储设备提高I/O性能。
  6. 监控和调整‌:
    • 定期监控Flink作业的性能指标,并根据需要调整配置。
    • 监控Oracle数据库的连接数,确保不超过最大连接数限制。

三、其他优化措施

  1. 创建专属用户并赋予权限‌:
    • 在Oracle数据库中为Flink CDC创建专属用户,并赋予足够的权限以读取所需的数据。
  2. 优化SQL查询逻辑‌:
    • 在Flink作业中优化SQL查询逻辑,减少不必要的JOIN操作和全表扫描,使用有效的索引策略减少数据库访问次数。
  3. 分批次同步数据‌:
    • 如果全量同步的数据量非常大,可以考虑将同步任务分批进行,以减少单次同步的数据量和时间。
  4. 使用物化视图‌:
    • 在Oracle数据库中考虑使用物化视图来预先计算和缓存部分或全部数据,以加速全量同步的读取操作。
  5. 调整Oracle数据库会话参数‌:
    • 根据实际需求调整Oracle数据库的会话参数,如PROCESSES和SESSIONS,以允许更多的用户连接。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/64384.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SpringAop-拦截参数带注解的方法

拦截方法中参数类型为String 且带有Crypto注解的方法:execution(* *(..,Crypto (String),..)) 拦截方法中参数上带有Crypto注解的方法:execution(* *(..,Crypto (*),..)) ..:零个或者多个 *:通配符 样例 /*** 针对带有Crypto…

selenium获取请求头

【原创】Selenium获取请求头、响应头-腾讯云开发者社区-腾讯云 selenium 4.0.0 selenium-wire 5.1.0 python 3.10 from seleniumwire import webdriver import time from selenium.webdriver.common.by import By import re def get_request_headers(driver):"""…

【C++移动语义与完美转发】左值右值,引用,引用折叠,移动语义,万能引用与完美转发

前言 nav2系列教材,yolov11部署,系统迁移教程我会放到年后一起更新,最近年末手头事情多,还请大家多多谅解。本期是一个鸽了半年的教程,很早以前我就一直想写一篇文章有关C的移动语义,一直拖到现在(),那么今…

暂停一下,给Next.js项目配置一下ESLint(Next+tailwind项目)

前提 之前开自己的GitHub项目,想着不是团队项目,偷懒没有配置eslint,后面发现还是不行。eslint的存在可以帮助我们规范代码格式,同时 ctrl s保存立即调整代码格式是真的很爽。 除此之外,团队使用eslint也是好处颇多…

iOS 应用的生命周期

Managing your app’s life cycle | Apple Developer Documentation Performance and metrics | Apple Developer Documentation iOS 应用的生命周期状态是理解应用如何在不同状态下运行和管理资源的基础。在 iOS 开发中,应用生命周期管理的是应用从启动到终止的整…

Hadoop学习笔记(包括hadoop3.4.0集群安装)(黑马)

Hadoop学习笔记 0-前置章节-环境准备 0.1 环境介绍 配置环境:hadoop-3.4.0,jdk-8u171-linux-x64 0.2 VMware准备Linux虚拟机 0.2.1主机名、IP、SSH免密登录 1.配置固定IP地址(root权限) 开启master,修改主机名为…

扩展SpringBoot中的SpringMVC的默认配置

SpringBoot默认已经给我们做了很多SpringMVC的配置,哪些配置? 视图解析器ViewResolver静态资料的目录默认首页index.html图标名字和图标所在目录,favicon.ico类型转换器Converter,格式转换器的Formatter消息转换器HttpMessageCon…

企业内训|阅读行业产品运营实战训练营-某运营商数字娱乐公司

近日,TsingtaoAI公司为某运营商旗下数字娱乐公司组织的“阅读行业产品运营实战训练营”在杭州落下帷幕。此次训练营由TsingtaoAI资深互联网产品专家程靖主持。该公司的业务骨干——来自内容、市场、业务、产品与技术等跨部门核心岗位、拥有8-10年实战经验的中坚力量…

Android Room 数据库使用详解

一、Room介绍 Android Room 是 Google 提供的一个 Android 数据持久化库,是 Android Jetpack 组成部分之一。它提供了一个抽象层,使得 SQLite 数据库的使用更为便捷。通过 Room,开发者可以轻松地操作数据库,不需要直接编写繁琐的…

双目测距中的鼠标操作回调函数

参考:【OpenCV】双目测距(双目标定、双目校正和立体匹配) /*****描述:鼠标操作回调函数定义*****/ static void onMouse(int event, int x, int y, int, void*) {if (selectObject){selection.x MIN(x, origin.x);selection.y …

Kaggler日志--Day7

进度24/12/17 昨日复盘: 尝试自己爬取了两个学校的就业信息数据,比较简单但是顺通了爬虫流程 看别人的代码:AQX的。 今日进度: 分析理解昨天代码的过程,统计问题 过程理解 EDA部分 对于不同变量类型判别的举例说明…

NDRCContextUnmarshall断点函数分析之I_RpcBindingCopy函数的作用

NDRCContextUnmarshall断点函数分析之I_RpcBindingCopy函数的作用 第一部分: void RPC_ENTRY NDRCContextUnmarshall ( // process returned context OUT NDR_CCONTEXT PAPI *phCContext,// stub context to update IN RPC_BINDING_HANDLE hRPC, …

IS-IS协议

IS-IS协议介绍 IS-IS(Intermediate System to Intermediate System)协议是一种链路状态的内部网关协议(IGP),用于在同一个自治系统(Autonomous System, AS)内部的路由器之间交换路由信息。IS-I…

QoS分类和标记

https://zhuanlan.zhihu.com/p/160937314 1111111 分类和标记是识别每个数据包优先级的过程。 这是QoS控制的第一步,应在源主机附近完成。 分组通常通过其分组报头来分类。下图指定的规则仔细检查了数据包头 : 下表列出了分类标准: 普通二…

电机控制杂谈(23)——共模电压与轴电流

1.共模电压与轴电流的关系和危害 对于电压源换流器,由于功率半导体器件的快速开关和PWM调制方案,将在电机定子绕组的中性点(N)和接地点(O)之间产生高频共模电压(Common-mode voltage&#xff0…

FPGA设计-使用 lspci 和 setpci 调试xilinx的PCIe 问题

目录 简介 lspci lspci-TV lspci-vvv 注意事项 lspci -vs lspci -vvvs 设置pci 识别setpci中的寄存器 setpci -s 00:01.0 d0.b42 简介 lspci 和 setpci 命令在 Linux 发行版中本身可用。该命令具有各种级别的输出,并提供非常有用的时间点查看 PCI 总线…

vue+node+mysql8.0,详细步骤及报错解决方案

1.下载需要安装的插件 下载express npm install express下载cors,用于处理接口跨域问题 npm install cors下载mysql npm install mysql 2.配置服务器 可以在vue项目的src同级创建server文件夹(这里的位置可随意选择) 然后依次创建&#…

【人工智能】因果推断与数据分析:用Python探索数据间的因果关系

解锁Python编程的无限可能:《奇妙的Python》带你漫游代码世界 因果推断是数据科学领域的一个重要方向,旨在发现变量间的因果关系,而不仅仅是相关性。本篇文章将从因果推断的理论基础出发,介绍因果关系的定义与建模方法,涵盖因果图(Causal Graph)、d-分离、反事实估计等…

并发修改导致MVCC脏写问题

并发修改导致MVCC脏写问题 一、概要 1.1 业务场景 数据库表结构设计: 一个主档数据,通过一个字段,逗号分隔的方式去关联其他明细信息的id。 如主档数据A,有3条明细数据与A关联,其id分别是1,2,3,那么其存…

[创业之路-198]:华为的成立发展与新中国的建立与发展路径的相似性比较

目录 一、公司比较 1、创业初期的艰难与挑战 2、坚持自主创新与研发 3、市场拓展与国际化战略 4、企业文化与社会责任 5、面临的挑战与应对策略 二、任正非管理企业的思想大量借鉴了毛泽东建国的思想 1、矛盾论与企业管理 2、群众路线与企业文化 3、战略思维与长远发…