pentaho DI--- Tutorial (spoon)

Pentaho Data Integration (PDI, also called Kettle),是pentaho的etl工具.虽然etl工具一般都用在数据仓库环境中,可是,PDI还是可以做以下事情:

1)在数据库或应用系统间迁移数据.

2)把数据导成为检系统

3)大数据的批量倒入数据库。

4）系统整合。

5）数据清洗。

PDI的使用非常简单，每一步基本上都可以听过图形化的工具来完成，而不需要写代码。从这个意义上说，PDI是面向元数据的。

PDI既可以作为一个单独工具使用，也可以作为pentaho的整个软件包的一部分使用。作为一个单独的工具，PDI支持各种数据源的输入和输出，包括：

文本文件；数据表；各种商业化的数据库引擎。PDI允许你对数据进行各种精细的控制。

现在，我们通过传统的“Hello world”的例子，来展示使用PDI是多么的简单。

1）下载PDI；

2）spoon的简介：

spoon是一个图形化的工具，用来设计和测试PDI要使用的过程等。设计测试完毕后，可以在终端窗口运行。

In Spoon, you build Jobs and Transformations. PDI offers two methods to save them:

Database repository
Files

3）例子

a)源数据是一个csv文件，内容如下：

last_name, name
Suarez,Maria
Guimaraes,Joao
Rush,Jennifer
Ortiz,Camila
Rodriguez,Carmen
da Silva,Zoe

b)经过转换后，变为xml文件，期望值如下：

- <Rows>
- <row>
        <msg>Hello, Maria!</msg>
    </row>
- <row>
        <msg>Hello, Joao!</msg>
    </row>
- <row>
        <msg>Hello, Jennifer!</msg>
    </row>
- <row>
        <msg>Hello, Camila!</msg>
    </row>
- <row>
        <msg>Hello, Carmen!</msg>
    </row>
- <row>
        <msg>Hello, Zoe!</msg>
    </row>
</Rows>

下面是具体操作：

第一步：菜单选择：文件--〉新建--〉转换

第二步：设置。对转换过程进行设置。如上图。

命名并保存。

使用 Steps and Hops构建转换的骨架。

在转换里面：step是最小的单元步骤。step的种类非常繁多，基本上，可以归纳成几类，比如input和output，还有其他归类。每一个step都认为是

完成一个工作，比如恢复数据集合等。

而hop，是在两个step之间数据转换流动的图示。包含数据的起始和传递方向。

我们这次转换例子，包含三个步骤：

1）读取csv文件。

2）加入问候语句。

3）存成xml文件。

To the left of the workspace is the Steps Palette. Select the Input category.
Drag the CSV file onto the workspace on the right.
Select the Scripting category.
Drag the Modified JavaScript Value icon to the workspace.
Select the Output category.
Drag the XML Output icon to the workspace.