【kettle012】kettle访问FTP服务器文件并处理数据至PostgreSQL(已更新)

1.一直以来想写下基于kettle的系列文章,作为较火的数据ETL工具,也是日常项目开发中常用的一款工具,最近刚好挤时间梳理、总结下这块儿的知识体系。
2.熟悉、梳理、总结下FTP服务器相关知识体系
3.欢迎批评指正,跪谢一键三连!

  • kettle访问FTP服务器文件并处理数据至PostgreSQL文章目录索引如下所示:
    在这里插入图片描述

  • 【实操视频,辅助实操学习,欢迎点赞、关注,跪谢一键三连!】【kettle012】kettle访问FTP服务器文件并处理数据至PostgreSQL文章目录索引如下所示

  • KETTLE9.0资源下载: kettle-pdi-ce-9.0

  • 【kettle012】kettle访问FTP服务器文件并处理数据至PostgreSQL实验材料下载

1.环境搭建、配置

    • 1.0 实验环境信息
      • Windows 10
      • CentOS 7.1(虚拟机)
      • Docker version 26.0.2
      • Dbeaver
      • PostgreSQL 16.2, compiled by Visual C++ build 1937, 64-bit
      • Kettle 8.2–访问异常
      • Kettle 9.0–有效方案
  • 1.1 FTP服务器环境搭建参考博文: 【FTP】配置FTP服务器并访问测试(已更新)

    • 重要提示: 需 关闭防火墙 负责 ftp://192.168.48.220/ 访问失败
      在这里插入图片描述
  • 1.2 CSV文件数据手动上传至FTP服务器,效果测试
    在这里插入图片描述

  • 1.3 下载资源包,搭建kettle实战环境

    • kettle8.2资源包: pdi-ce-8.2.0.0-342.zip
    • kettle9.0资源包:kettle-pdi-ce-9.0.0.0-423.zip
      • 重要提示: kettle8.2版本在连接 PostgreSQL 16.2 一直提示Error connecting to database: (using class org.postgresql.Driver) 尝试连线已失败。,使用kettle9.0版本该问题不再复现。
    • dbeaver-driver-all-master资源包: dbeaver-driver-all-master
    • 下载解压即可使用,运行 Spoon.bat 效果
      在这里插入图片描述

2.基于kettle下载FTP文件服务器数据

  • 注意: 采用 基于 Kettle 9.0 有效可用方案
  • 2.1 FTP 下载 配置信息及运行结果详情
    在这里插入图片描述
    在这里插入图片描述

3.基于kettle处理数据至PostgreSQL

  • 3.1 【kettle作业流程配置】版本驱动或kettle bug问题(解决了好久,尝试了很多次,替换了很多个驱动版本,均解决无效)

  • kettle版本: Kettle 8.2,查看到类似材料说驱动版本问题,更换了很多次,尝试多个驱动版本如下,但都不能成功链接

    • postgresql-42.2.25.jar
    • postgresql-9.1-901-1.jdbc4.jar
    • postgresql-42.3.9.jar
    • postgresql-42.7.2.jar
    • edb-jdbc16.jar
  • Kettle 8.2 链接异常详情示例如下(通过Java代码测试链接成功):
    在这里插入图片描述

    • IDE + java 代码测试效果
      import java.sql.DriverManager;
      import java.sql

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/11403.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

南京中科微Ci24R1(DFN8)无线收发射频芯片性能介绍

Ci24R1是南京中科微研发的低成本高性能2.4GHz GFSK 无线收发芯片(支持蓝牙版),专为低功耗无限场合设计,集成嵌入式ARQ基带协议引擎的无线收发器芯片。 工作频率为2400MHz-2525MHz,共有126个1MHz带宽的信道&#xff0c…

PAN2025 2.4GHz无线接收SoC芯片

PAN2025是一款内嵌32位MCU和2.4GHz收发器的SoC芯片。该收发器适用于2.400~2.483GHz**ISM频段。它集成了射频(RF)发射器和接收器,频率合成器,晶体振荡器,基带GFSK调制解调器等。PAN2025支持一对多网络和ACK通信。TX功率…

美股开户,你需要知道这些!

想投资美股,却不知道开户需要多少钱? 别担心,这篇专栏将告诉你美股开户的资金要求以及相关注意事项。 1. 美股开户需要多少钱? 答案是:有的,但门槛并不高。不同平台对开户资金的要求有所不同,一…

WEB基础--数据库事务与连接池

数据库事务 什么是事务 事务(Transaction,简写为tx): 在数据库中,所谓事务是指一组逻辑操作单元,使数据从一种状态变换到另一种状态。 为确保数据库中数据的一致性,数据的操纵应当是离散的成组的逻辑单元: 当每个逻辑操作单元全部完成时,数据的一致性可以保持, 而当这个单…

elasticsearch搭建教程

主要参看这里就行,需要特别注意其中报错的解决方案:搭建elasticsearch 单机节点里,按照上述教程搭建只能开放本地访问,如果需要其他机器访问,需要在elasticsearch.yml里新增几个配置: node.name: node-1 network.host…

APP反抓包 - 服务端证书验证

案例引入: app:泡泡聊天 版本:v1.7.4 发送登录请求,抓包发现提示:403 Forbidden 这里就是使用了服务端证书校验,因为charles没有安装证书,所以到达服务器的响应没有通过验证,返回异常。 美之图: 一,校验逻辑 在安卓开发时,在客户端预设证书(p12/bks),客户端…

flink cdc,读取datetime类型

:flink cdc,读取datetime类型,全都变成了时间戳 Flink CDC读取MySQL的datetime类型时会转换为时间戳的问题,可以通过在Flink CDC任务中添加相应的转换器来解决。具体来说,可以在MySQL数据源的debezium.source.converter配置项中指…

AI仿站源码教程

AI仿站源码教程 随着AI技术的不断发展,仿站技术已经越来越成熟,通过AI一键仿站,开发者们可以更快速、更高效地搭建网站。传统的前端开发过程中,需要大量的手工编码和设计,而AI仿站技术可以通过截图或视频,…

智慧公厕:数据驱动的公共厕所智慧化管理

公共厕所作为城市基础设施的重要组成部分,对于城市居民的生活质量和城市形象有着不可忽视的影响。然而,传统的公共厕所管理模式存在诸多问题,如设施老化、卫生状况不佳等,严重限制了公众对于公共厕所的使用体验。随着大数据和智能…

计算机毕业设计系列~~~基于SSM的宠物销售网站

目录 一、项目介绍 二、开题报告 三、项目截图 一、项目介绍 本项目是一款基于SSM的宠物销售网站,主要针对计算机相关专业的正在做毕设的学生与需要项目实战练习的 Java 学习者。 1. 包含:项目源码、项目文档、数据库脚本、软件工具等所有资料 2. …

【笔记】从零开始做一个男性人体的流程/躯干篇(补充)

1.做手臂和腿部都记着【关键节点】的重要性

day5.12 leetcode80 删除有序数组重复项

删除有序数组重复项 给你一个有序数组 nums ,请你** 原地** 删除重复出现的元素,使得出现次数超过两次的元素只出现两次 ,返回删除后数组的新长度。 不要使用额外的数组空间,你必须在 原地 修改输入数组 并在使用 O(1) 额外空间…

2024年得物搬砖项目:轻松上手的高利润副业选择

越来越多的人都开始将目光转向互联网,无论是商家还是消费者,都已经习惯网上卖货和购买 其实,其主要原因还是因为如今的生活节奏快,现在的消费主力军转移到了90、00后身上。他们往往忙于工作或者是家庭,无暇去逛商场&a…

webpack压缩css代码示例:压缩css

css-loader用来解析.css文件,将之转换成commjs模块 style-loader用来将css注入到dom中 尽管css-loader和style-loader提供将css导入到js并注入到dom的功能,但webpack默认并不负责压缩css, css-minimizer-webpack-plugin只处理分离出来的CSS文…

jQuery-2.鼠标焦点事件、节点操作、遍历元素、效果

鼠标事件 鼠标事件是当用户在文档上移动或单击鼠标时而产生的事件,常用的鼠标事件: 方法 描述 执行时机 click() 触发或将函数绑定到指定元素的click事件 单击鼠标时 mouseover() 触发或将函数绑定到指定元素的mouse over事件 鼠标移过时 mous…

《一“企”谈》∣企企通走进『鹏辉能源』,探索百亿储能上市企业如何实现供应链数字化转型

随着运营模式的升级和市场竞争的加剧,采购数字化已成为企业提升竞争力的关键。通过整合人工智能、大数据、云计算和物联网等先进技术,采购流程正逐步实现智能化、协同化和绿色化,大幅提升采购效率和决策质量。 广州鹏辉能源科技股份有限公司&…

mysql与idea连接

1、安装mysql,确保电脑中有sql数据库; 2、在‘服务’中开启mysql; 3、将mysql-connector-java-8.0.16.jar包放入web/WEB-INF/lib并配置; mysql-connector-java 5及以下,配置的是com.mysql.jdbc.Driver驱动mysql-connector-java 6…

webpack如何自定义一个loader

我们在使用脚手架的搭建项目的时候往往都会帮我们配置好所需的loader,接下来讲一下我们要如何自己写一个loader应用到项目中(完整代码在最后) 1. 首先搭建一个项目并找到webpack配置文件(webpack.config.js) 在modul…

免费PDF批量加密工具

最近在找PDF批量加密的软件来着,发现很多都是需要收费的,当然如果平时工作需要用的比较多,支持一下还是ok的,但是多数人还是偶尔用一下所以没有必要买。 工作用的话,一般企业文件、个人隐私资料、重要合同...所有重要文…

RK3568外置RTC芯片PCF8563T(或替代型号)实验

RK3568 外接 PCF8563 RTC Chapter0 RK3568 外接 PCF8563 RTC1 menuconfig中打开pcf8563驱动2 设备树DTS3 修改驱动 Chapter1 【正点原子Linux连载】第三十一章 外置RTC芯片AT8563T实验 摘自【正点原子】ATK-DLRK3568嵌入式Linux驱动开发指南第三十一章 外置RTC芯片AT8563T实验3…