【kettle012】kettle访问FTP服务器文件并处理数据至PostgreSQL(已更新)

1.一直以来想写下基于kettle的系列文章,作为较火的数据ETL工具,也是日常项目开发中常用的一款工具,最近刚好挤时间梳理、总结下这块儿的知识体系。
2.熟悉、梳理、总结下FTP服务器相关知识体系
3.欢迎批评指正,跪谢一键三连!

  • kettle访问FTP服务器文件并处理数据至PostgreSQL文章目录索引如下所示:
    在这里插入图片描述

  • 【实操视频,辅助实操学习,欢迎点赞、关注,跪谢一键三连!】【kettle012】kettle访问FTP服务器文件并处理数据至PostgreSQL文章目录索引如下所示

  • KETTLE9.0资源下载: kettle-pdi-ce-9.0

  • 【kettle012】kettle访问FTP服务器文件并处理数据至PostgreSQL实验材料下载

1.环境搭建、配置

    • 1.0 实验环境信息
      • Windows 10
      • CentOS 7.1(虚拟机)
      • Docker version 26.0.2
      • Dbeaver
      • PostgreSQL 16.2, compiled by Visual C++ build 1937, 64-bit
      • Kettle 8.2–访问异常
      • Kettle 9.0–有效方案
  • 1.1 FTP服务器环境搭建参考博文: 【FTP】配置FTP服务器并访问测试(已更新)

    • 重要提示: 需 关闭防火墙 负责 ftp://192.168.48.220/ 访问失败
      在这里插入图片描述
  • 1.2 CSV文件数据手动上传至FTP服务器,效果测试
    在这里插入图片描述

  • 1.3 下载资源包,搭建kettle实战环境

    • kettle8.2资源包: pdi-ce-8.2.0.0-342.zip
    • kettle9.0资源包:kettle-pdi-ce-9.0.0.0-423.zip
      • 重要提示: kettle8.2版本在连接 PostgreSQL 16.2 一直提示Error connecting to database: (using class org.postgresql.Driver) 尝试连线已失败。,使用kettle9.0版本该问题不再复现。
    • dbeaver-driver-all-master资源包: dbeaver-driver-all-master
    • 下载解压即可使用,运行 Spoon.bat 效果
      在这里插入图片描述

2.基于kettle下载FTP文件服务器数据

  • 注意: 采用 基于 Kettle 9.0 有效可用方案
  • 2.1 FTP 下载 配置信息及运行结果详情
    在这里插入图片描述
    在这里插入图片描述

3.基于kettle处理数据至PostgreSQL

  • 3.1 【kettle作业流程配置】版本驱动或kettle bug问题(解决了好久,尝试了很多次,替换了很多个驱动版本,均解决无效)

  • kettle版本: Kettle 8.2,查看到类似材料说驱动版本问题,更换了很多次,尝试多个驱动版本如下,但都不能成功链接

    • postgresql-42.2.25.jar
    • postgresql-9.1-901-1.jdbc4.jar
    • postgresql-42.3.9.jar
    • postgresql-42.7.2.jar
    • edb-jdbc16.jar
  • Kettle 8.2 链接异常详情示例如下(通过Java代码测试链接成功):
    在这里插入图片描述

    • IDE + java 代码测试效果
      import java.sql.DriverManager;
      import java.sql

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/11403.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

南京中科微Ci24R1(DFN8)无线收发射频芯片性能介绍

Ci24R1是南京中科微研发的低成本高性能2.4GHz GFSK 无线收发芯片(支持蓝牙版),专为低功耗无限场合设计,集成嵌入式ARQ基带协议引擎的无线收发器芯片。 工作频率为2400MHz-2525MHz,共有126个1MHz带宽的信道&#xff0c…

美股开户,你需要知道这些!

想投资美股,却不知道开户需要多少钱? 别担心,这篇专栏将告诉你美股开户的资金要求以及相关注意事项。 1. 美股开户需要多少钱? 答案是:有的,但门槛并不高。不同平台对开户资金的要求有所不同,一…

APP反抓包 - 服务端证书验证

案例引入: app:泡泡聊天 版本:v1.7.4 发送登录请求,抓包发现提示:403 Forbidden 这里就是使用了服务端证书校验,因为charles没有安装证书,所以到达服务器的响应没有通过验证,返回异常。 美之图: 一,校验逻辑 在安卓开发时,在客户端预设证书(p12/bks),客户端…

flink cdc,读取datetime类型

:flink cdc,读取datetime类型,全都变成了时间戳 Flink CDC读取MySQL的datetime类型时会转换为时间戳的问题,可以通过在Flink CDC任务中添加相应的转换器来解决。具体来说,可以在MySQL数据源的debezium.source.converter配置项中指…

AI仿站源码教程

AI仿站源码教程 随着AI技术的不断发展,仿站技术已经越来越成熟,通过AI一键仿站,开发者们可以更快速、更高效地搭建网站。传统的前端开发过程中,需要大量的手工编码和设计,而AI仿站技术可以通过截图或视频,…

智慧公厕:数据驱动的公共厕所智慧化管理

公共厕所作为城市基础设施的重要组成部分,对于城市居民的生活质量和城市形象有着不可忽视的影响。然而,传统的公共厕所管理模式存在诸多问题,如设施老化、卫生状况不佳等,严重限制了公众对于公共厕所的使用体验。随着大数据和智能…

计算机毕业设计系列~~~基于SSM的宠物销售网站

目录 一、项目介绍 二、开题报告 三、项目截图 一、项目介绍 本项目是一款基于SSM的宠物销售网站,主要针对计算机相关专业的正在做毕设的学生与需要项目实战练习的 Java 学习者。 1. 包含:项目源码、项目文档、数据库脚本、软件工具等所有资料 2. …

【笔记】从零开始做一个男性人体的流程/躯干篇(补充)

1.做手臂和腿部都记着【关键节点】的重要性

2024年得物搬砖项目:轻松上手的高利润副业选择

越来越多的人都开始将目光转向互联网,无论是商家还是消费者,都已经习惯网上卖货和购买 其实,其主要原因还是因为如今的生活节奏快,现在的消费主力军转移到了90、00后身上。他们往往忙于工作或者是家庭,无暇去逛商场&a…

jQuery-2.鼠标焦点事件、节点操作、遍历元素、效果

鼠标事件 鼠标事件是当用户在文档上移动或单击鼠标时而产生的事件,常用的鼠标事件: 方法 描述 执行时机 click() 触发或将函数绑定到指定元素的click事件 单击鼠标时 mouseover() 触发或将函数绑定到指定元素的mouse over事件 鼠标移过时 mous…

《一“企”谈》∣企企通走进『鹏辉能源』,探索百亿储能上市企业如何实现供应链数字化转型

随着运营模式的升级和市场竞争的加剧,采购数字化已成为企业提升竞争力的关键。通过整合人工智能、大数据、云计算和物联网等先进技术,采购流程正逐步实现智能化、协同化和绿色化,大幅提升采购效率和决策质量。 广州鹏辉能源科技股份有限公司&…

mysql与idea连接

1、安装mysql,确保电脑中有sql数据库; 2、在‘服务’中开启mysql; 3、将mysql-connector-java-8.0.16.jar包放入web/WEB-INF/lib并配置; mysql-connector-java 5及以下,配置的是com.mysql.jdbc.Driver驱动mysql-connector-java 6…

webpack如何自定义一个loader

我们在使用脚手架的搭建项目的时候往往都会帮我们配置好所需的loader,接下来讲一下我们要如何自己写一个loader应用到项目中(完整代码在最后) 1. 首先搭建一个项目并找到webpack配置文件(webpack.config.js) 在modul…

免费PDF批量加密工具

最近在找PDF批量加密的软件来着,发现很多都是需要收费的,当然如果平时工作需要用的比较多,支持一下还是ok的,但是多数人还是偶尔用一下所以没有必要买。 工作用的话,一般企业文件、个人隐私资料、重要合同...所有重要文…

RK3568外置RTC芯片PCF8563T(或替代型号)实验

RK3568 外接 PCF8563 RTC Chapter0 RK3568 外接 PCF8563 RTC1 menuconfig中打开pcf8563驱动2 设备树DTS3 修改驱动 Chapter1 【正点原子Linux连载】第三十一章 外置RTC芯片AT8563T实验 摘自【正点原子】ATK-DLRK3568嵌入式Linux驱动开发指南第三十一章 外置RTC芯片AT8563T实验3…

炫酷渐变官网源码

炫酷渐变官网源码 效果图部分代码领取源码下期更新预报 效果图 部分代码 <!DOCTYPE html> <html lang"en"><head><meta charset"utf-8"><meta http-equiv"X-UA-Compatible" content"IEedge"><title…

ThreadLocal 源码详解

概述 ThreadLocal是一个java提供的本地线程副本变量工具类。主要用于将私有线程和该线程存放的副本对象做一个映射&#xff0c;各个线程之间的变量互不干扰&#xff0c;在高并发场景下&#xff0c;可以实现无状态的调用&#xff0c;特别适用于各个线程依赖不通的变量值完成操作…

PSFR-GAN复现

写在前面&#xff1a;本博客仅作记录学习之用&#xff0c;部分图片来自网络&#xff0c;如需引用请注明出处&#xff0c;同时如有侵犯您的权益&#xff0c;请联系删除&#xff01; 文章目录 前言快速开始安装依赖权重下载及复原 训练网络数据集训练脚本 代码详解训练BaseOptio…

NSSCTF | [SWPUCTF 2021 新生赛]caidao

打开题目&#xff0c;只有一个图片&#xff0c;图片中间是一个一句话木马的一部分&#xff0c;意思是服务器可以执行通过POST的请求方式传入参数为wllm的命令&#xff0c;那这就是典型的命令执行&#xff0c;当然&#xff0c;也可以使用蚁剑或者菜刀连接这个木马 一句话木马的…

DOM API

DOM 基本概念 DOM 全称为 Document Object Model&#xff0c;就是文档对象模型。html 的每个标签都可以映射到 js 中的一个对应对象上。 DOM 树 一个页面的结构是一个树形结构, 称为 DOM 树 . 树形结构在数据结构阶段会介绍. 就可以简单理解成类似于 " 家谱 &q…