【kettle006】kettle访问华为openGauss高斯数据库并处理数据至execl文件

1.一直以来想写下基于kettle的系列文章,作为较火的数据ETL工具,也是日常项目开发中常用的一款工具,最近刚好挤时间梳理、总结下这块儿的知识体系。
2.熟悉、梳理、总结下华为openGauss高斯数据库相关知识体系
3.欢迎批评指正,跪谢一键三连!

  • kettle访问华为openGauss高斯数据库并处理数据至execl文件文章目录索引如下所示:
    在这里插入图片描述
  • 【实操视频,辅助实操学习,跪谢一键三连!】【kettle006】kettle访问华为openGauss高斯数据库并处理数据至execl文件

1.环境搭建、配置

  • 1.0 实验环境信息
    • Windows 10
    • CentOS 7.1(虚拟机)
    • Docker version 26.0.2
    • Dbeaver
    • Kettle 8.2
    • openGauss 2.1.0
  • 1.1 openGauss docker镜像安装
    • 如果本地有openGauss,但拉取了镜像,请调整端口信息,端口已被占用
    • 如果遇到拉取镜像很慢的问题,可以参考 https://kngines.blog.csdn.net/article/details/138142888
    • 1.1.1 操作命令
      # 拉取opengauss镜像
      docker pull enmotech/opengauss:latest# 查看镜像
      docker image# 运行容器
      docker run --name opengauss --privileged=true -d -e GS_PASSWORD=Enmo@123 -p 8090:5432 enmotech/opengauss:latest# 查看容器
      docker ps -adocker exec -it opengauss sh# 切换用户
      su - omm# 数据库登录
      gsql# 查看数据库版本
      select version();# 查看数据库版权
      \copyright# 查看数据库
      \db# 查看所有数据库
      \l
      
    • 1.1.2 容器运行详情
      在这里插入图片描述

2.openGauss高斯数据库容器链接测试

  • 2.1 驱动信息配置、测试
    • 新建 驱动管理器数据库 --》 驱动管理器 --》 新建库 --》 添加GS-DWS驱动文件
      # 类名
      org.postgresql.Driver
      # URL 模板
      jdbc:postgresql://{host}[:{port}]/[{database}]
      
    • 配置详情示例图
      在这里插入图片描述
  • 2.2 驱动包下载及配置引入
    • 高斯数据库驱动包下载地址: https://dws.obs.myhuaweicloud.com/download/dws_8.2.x_jdbc_driver.zip
      • 华为高斯数据库驱动包官网地址: 下载JDBC或ODBC驱动
    • 引入详情如下图所示
      在这里插入图片描述
  • 2.3 DBeaver链接高斯数据库测试
    # 默认数据库,也可新建数据库,如本文新建 youli ;注意 即使数据库名包含大写,链接配置里面配置小写
    postgres
    # 用户名
    gaussdb
    # 本实验密码
    Enmo@123
    
    • 链接测试配置详情
      在这里插入图片描述
  • 2.4 建表建库测试SQL
    create database youli owner gaussdb;
    drop database youli;create table youli_testtable (    id int primary key,    name varchar(100),    age int,    grade varchar(10)
    );delete from youli_testtable;
    insert into youli_testtable values
    (1, 'youli', 12, '1班'),
    (2, '张三', 21, '2班'),
    (3, '张三', 22, '3班'),
    (4, '张三', 23, '4班'),
    (5, '张三', 13, '5班'),
    (6, '张三', 14, '6班'),
    (7, '张三', 15, '7班'),
    (8, '张三', 13, '8班'),
    (9, '张三', 16, '9班'),
    (10, '张三', 19, '10班');select * from youli_testtable;
    

3.kettle流程任务配置、效果验证

  • 3.1 将2.2下载的高斯数据库相应版本驱动包放到 kettlle lib 目录下,重启 kettle,进行链接测试
    在这里插入图片描述
  • 3.2 kettle链接高斯数据库容器环境测试结果
    在这里插入图片描述

4.参考文章

  • https://blog.csdn.net/jmshl/article/details/134578666
  • https://blog.csdn.net/AnillegalName/article/details/135764879
  • https://wenku.csdn.net/column/5tt62irjd2

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/4675.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Spring Boot应用部署 - JAR包Docker部署

JAR包Docker部署 要使用Docker部署Spring Boot应用,需要创建一个Dockerfile来定义如何构建Docker镜像,并且可能还需要在Maven构建脚本中集成Docker插件以简化构建过程。以下是详细的步骤: 1. 创建Dockerfile 在Spring Boot项目的根目录下创…

【实时数仓架构】方法论(未完)

笔者不是专业的实时数仓架构,这是笔者从其他人经验和网上资料整理而来,仅供参考。写此文章意义,加深对实时数仓理解。 实时数仓背景和场景 一、实时数仓架构技术演进 1.1、四种架构演进 1)离线大数据架构 一种批处理离线数据分…

胡写乱写哈哈哈

message.from() 获取消息的发送者名称 const bot new Wechaty() .on(message, async message > { //这条消息是谁发送的const contact message.from()//这条消息的文本内容const text message.text()//这条消息是哪个群聊中发送的const room message.room()if (room) {/…

电脑开机后卡在开机LOGO画面如何排查处理

当电脑开机后长时间停滞在开机LOGO画面,无法继续进入操作系统,这一现象常令用户困扰不已。本文将深入探讨导致此类问题的多种可能原因,并提供相应的解决方法,帮助你有效地诊断和排除故障。 硬件故障或接触不良 1. 硬盘问题:硬盘是系统启动的关键组件,其故障或数据线接触…

css如何去掉重叠部分的边框,CSS中nth-child不生效

css如何去掉重叠部分的边框 div使用负的margin&#xff0c;margin-right:-1px&#xff1b;table表格设置边框后的重叠&#xff0c;border-collapse: collapse CSS中nth-child不生效 <body><ul><li><a><span class"item"></span&…

CentOS 删除文件提示 Operation not permitted 的解决方法

1、阿里云服务器提示存在挖矿行为&#xff0c;路径在 /etc/zzh&#xff0c;我们做下删除动作&#xff0c;发现不能删除 [rootMSH etc]# rm -f zzh# 提示 rm: cannot remove ‘zzh’: Operation not permitted2、解决方法&#xff1a; (1)、查看文件权限 [rootMSH etc]# lsat…

xml,json和protobuffer

数据组织格式 xmljsonprotobuffer小结 xml 是以成对的方式,来表示"键值对"的信息,同时标签支持嵌套,可以构成更复杂的树形结构数据. 请求: <request> // 开始标签<username>zhangsan</username> // 表示的是键值对 key:username value: zhangsan&l…

Django项目之电商购物商城 -- 校验用户输入密码是否合法

Django项目之电商购物商城 – 校验用户输入密码是否合法 需要开发文档和前端资料的可私聊 一. 创建用户逻辑操作 1. 创建用户app – users python manage.py startapp users2.注册app users.apps.UsersConfig,3. 创建视图 from django.shortcuts import render from djan…

如何在小程序中添加图片和视频

在微信小程序中添加图片和视频可以通过特定的组件和属性来实现。 对于添加图片&#xff0c;你可以使用<image>组件。 <view> <image src"图片链接" style"width: 375rpx; height: 375rpx;"></image> </view> 这里&…

原生IP和住宅IP有什么区别?

原生IP和住宅IP在多个方面存在显著的区别。 从定义和来源来看&#xff0c;原生IP是指未经NAT&#xff08;网络地址转换&#xff09;处理的真实、公网可路由的IP地址&#xff0c;它直接从互联网服务提供商&#xff08;ISP&#xff09;获得&#xff0c;而不是通过代理服务器或VP…

Django初步了解

目录 一、什么是Django 二、Django的设计模式 三、涉及的英文缩写及其含义 四、安装&#xff08;官方教程&#xff09; 一、什么是Django Django是一个Python Web框架&#xff0c;可以快速开发网站&#xff0c;提供一站式的解决方案&#xff0c;包括缓存、数据库ORM、后台…

Postgresql从小白到高手 十:Linux服务器配置详解

Postgresql从小白到高手 第十章 Linux服务器配置详解 文章目录 Postgresql从小白到高手Postgresql Linux 服务器配置conf常用配置conf配置类别1. 连接相关配置2. 资源管理相关配置3. 日志和错误报告相关配置4. 安全性相关配置5 内存和查询优化6、复制和备份配置注意事项 Postg…

大象机器人开源协作机械臂myCobot 630 全面升级!

1. 开篇概述 在快速发展的机器人技术领域中&#xff0c;Elephant Robotics的myCobot 600已经证明了其在教育、科研和轻工业领域的显著适用性。作为一款具备六自由度的机械臂&#xff0c;myCobot 600以其600mm的工作半径和2kg的末端负载能力&#xff0c;满足了多样化的操作需求。…

中间件解析漏洞

1 、 apache 解析漏洞 漏洞环境搭建 下载 vulhub git clone https://github.com/vulhub/vulhub.git 进入对应漏洞目录、 cd vulhub/httpd/apache_parsing_vulnerability apt-get docker-compose 启动漏洞环境 docker-compose up -d 注&#xff1a;启动容器时&#xf…

leetcode2389--感染二叉树需要的总时间

1. 题意 给定一个节点&#xff0c;每秒该节点会感染相邻的节点&#xff0c;受感染的节点下一秒也会感染周围节点&#xff1b; 求使得所有节点感染的时间 2. 题解 2.1 dfs建图bfs搜索层次 我们将目标节点找到&#xff0c;并从该节点出发找到以该节点形成的树的深度即可。 …

【spring mvc】配置请求到视图名称转换器

最近在开发项目中遇到springmvc在进行视图渲染时&#xff0c;pc端和移动端不是同一个页面的情况&#xff0c;需要将不同的设备类型解析到不同的视图进行渲染。 一、配置方式 这里我写了一个RequestToViewNameTranslatorImpl类实现了RequestToViewNameTranslator接口&#xff…

用数据检验函数正确性,matlab2C

数据存取格式 filename1 g.txt; fid1 fopen(filename1,w); for i 1 : length(g)for j1:size(g,2)if(j1)fprintf(fid1,{%.16f,,g(i,j)); elseif(j>1&&j<151)fprintf(fid1,%.16f,,g(i,j)); elsefprintf(fid1,%.16f},\n,g(i,j));endend%fprintf(fid1,\n…

Baumer工业相机堡盟工业相机如何通过NEOAPISDK查询和轮询相机设备事件函数(C#)

Baumer工业相机堡盟工业相机如何通过NEOAPISDK查询和轮询相机设备事件函数&#xff08;C#&#xff09; Baumer工业相机Baumer工业相机NEOAPI SDK和相机设备事件的技术背景Baumer工业相机通过NEOAPISDK在相机中查询和轮询相机设备事件函数功能1.引用合适的类文件2.通过NEOAPISDK…

ZooKeeper 环境搭建详细教程之三(真集群)

ZooKeeper 搭建详细步骤之三(真集群) ZooKeeper 搭建详细步骤之二(伪集群模式) ZooKeeper 搭建详细步骤之一(单机模式) ZooKeeper 及相关概念简介 真集群搭建 搭建 ZooKeeper 真集群涉及多个步骤,包括准备环境、配置文件设置、启动服务以及验证集群状态。 以下是一个简…

在java项目中使用QQ邮箱发送验证码邮件

第一步&#xff1a;集成邮箱服务 在一个java项目中需要一个邮件服务来发送邮件可以使用JavaMail API来实现这一点&#xff0c;在这之前需要在项目中导入javax.mail.jar写入依赖。 方法一&#xff1a;直接在Maven中写入依赖 <dependency><groupId>org.apache.commo…