本系列文章主要索引如下：

一、ETL利器Kettle實戰(zhàn)應用解析系列一【Kettle使用介紹】

二、ETL利器Kettle實戰(zhàn)應用解析系列二 【應用場景和實戰(zhàn)DEMO下載】

三、ETL利器Kettle實戰(zhàn)應用解析系列三 【ETL后臺進程執(zhí)行配置方式】

本文主要閱讀目錄如下：

1、Kettle概念

2、下載和部署

3、Kettle環(huán)境配置

4、Kettle使用及組件介紹

ETL（Extract-Transform-Load的縮寫，即數據抽取、轉換、裝載的過程），對于企業(yè)或行業(yè)應用來說，我們經常會遇到各種數據的處理，轉換，遷移，所以了解并掌握一種etl工具的使用，必不可少，這里我介紹一個我在工作中使用了3年左右的ETL工具Kettle,本著好東西不獨享的想法，跟大家分享碰撞交流一下！在使用中我感覺這個工具真的很強大，支持圖形化的GUI設計界面，然后可以以工作流的形式流轉，在做一些簡單或復雜的數據抽取、質量檢測、數據清洗、數據轉換、數據過濾等方面有著比較穩(wěn)定的表現，其中最主要的我們通過熟練的應用它，減少了非常多的研發(fā)工作量，提高了我們的工作效率，不過對于我這個.net研發(fā)者來說唯一的遺憾就是這個工具是Java編寫的。

1、Kettle概念

Kettle是一款國外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運行，綠色無需安裝，數據抽取高效穩(wěn)定。

Kettle 中文名稱叫水壺，該項目的主程序員MATT 希望把各種數據放到一個壺里，然后以一種指定的格式流出。

Kettle這個ETL工具集，它允許你管理來自不同數據庫的數據，通過提供一個圖形化的用戶環(huán)境來描述你想做什么，而不是你想怎么做。

Kettle中有兩種腳本文件，transformation和job，transformation完成針對數據的基礎轉換，job則完成整個工作流的控制。

2、下載和部署

3、Kettle環(huán)境配置(有Java環(huán)境的直接忽略此章節(jié))

3、1 安裝java JDK

1）首先到官網上下載對應JDK包，JDK1.5或以上版本就行；

2）安裝JDK；

3）配置環(huán)境變量,附配置方式：

安裝完成后，還要對它進行相關的配置才可以使用，先來設置一些環(huán)境變量，對于Java來說，最需要設置的環(huán)境變量是系統(tǒng)路徑變量path。

（1）要打開環(huán)境變量的設置窗口。右擊“我的電腦”，在彈出的快捷菜單中選擇“屬性”選項，進入“系統(tǒng)屬性”對話框，如圖所示。選擇“高級”標簽，進入“高級”選項卡，再單擊“環(huán)境變量”按鈕，進入“環(huán)境變量”對話框，如圖所示：

（2）在“Administrator的用戶變量”列表框中，選擇變量PATH，待其所在行變高亮后，單擊“編輯”按鈕，如圖所示。

（3）在彈出的“編輯系統(tǒng)變量”對話框中，將JDK安裝路徑下的bin目錄路徑設置到Path變量中，如圖所示。

編輯完后，單擊“確定”按鈕，進行保存,環(huán)境變量Path的設置就正式完成。

注意：設置Path變量的路徑，必須是JDK安裝目錄中的bin目錄，有時候在JDK安裝目錄的同一層會有JRE的安裝目錄，因此請謹慎選取相關路徑，避免將路徑設置成JRE目錄下的bin目錄。

3、2 測試JDK配置是否成功

設置好環(huán)境變量后，就可以對剛設置好的變量進行測試，并檢測Java是否可以運行。

（1）單擊“開始”按鈕，選擇“運行”選項，在“運行”對話框中輸入cmd命令。

（2）之后單擊“確定”按鈕，打開命令行窗口。

（3）在光標處輸入：javac命令，按下Enter鍵執(zhí)行，即可看到測試結果

3、3 運行Kettle

	Main Tree菜單列出的是一個transformation中基本的屬性，可以通過各個節(jié)點來查看。   DB連接：顯示當前transformation中的數據庫連接，每一個transformation的數據庫連接都需要單獨配置。   Steps：一個transformation中應用到的環(huán)節(jié)列表   Hops：一個transformation中應用到的節(jié)點連接列表
	Core Objects菜單列出的是transformation中可以調用的環(huán)節(jié)列表，可以通過鼠標拖動的方式對環(huán)節(jié)進行添加。   Input：輸入環(huán)節(jié) Output：輸出環(huán)節(jié) Lookup：查詢環(huán)節(jié) Transform：轉化環(huán)節(jié) Joins：連接環(huán)節(jié) Scripting：腳本環(huán)節(jié)

 

 

每一個環(huán)節(jié)可以通過鼠標拖動來將環(huán)節(jié)添加到主窗口中。

并可通過shift+鼠標拖動，實現環(huán)節(jié)之間的連接。

轉換常用環(huán)節(jié)介紹

類別	環(huán)節(jié)名稱	功能說明
Input	文本文件輸入	從本地文本文件輸入數據
	表輸入	從數據庫表中輸入數據
	獲取系統(tǒng)信息	讀取系統(tǒng)信息輸入數據
Output	文本文件輸出	將處理結果輸出到文本文件
	表輸出	將處理結果輸出到數據庫表
	插入/更新	根據處理結果對數據庫表機型插入更新，如果數據庫中不存在相關記錄則插入，否則為更新。會根據查詢條件中字段進行判斷
	更新	根據處理結果對數據庫進行更新，若需要更新的數據在數據庫表中無記錄，則會報錯停止
	刪除	根據處理結果對數據庫記錄進行刪除，若需要刪除的數據在數據庫表中無記錄，則會報錯停止
Lookup	數據庫查詢	根據設定的查詢條件，對目標表進行查詢，返回需要的結果字段
	流查詢	將目標表讀取到內存，通過查詢條件對內存中數據集進行查詢
	調用DB存儲過程	調用數據庫存儲過程
Transform	字段選擇	選擇需要的字段，過濾掉不要的字段，也可做數據庫字段對應
	過濾記錄	根據條件對記錄進行分類
	排序記錄	將數據根據某以條件，進行排序
	空操作	無操作
	增加常量	增加需要的常量字段
Scripting	Modified Java Script Value	擴展功能，編寫JavaScript腳本，對數據進行相應處理
Mapping	映射（子轉換）	數據映射
Job	Sat Variables	設置環(huán)境變量
	Get Variables	獲取環(huán)境變量

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

4.3 Job任務介紹

 

	Main Tree菜單列出的是一個Job中基本的屬性，可以通過各個節(jié)點來查看。   DB連接：顯示當前Job中的數據庫連接，每一個Job的數據庫連接都需要單獨配置。   Job entries：一個Job中引用的環(huán)節(jié)列表
	Job entries菜單列出的是Job中可以調用的環(huán)節(jié)列表，可以通過鼠標拖動的方式對環(huán)節(jié)進行添加。   每一個環(huán)節(jié)可以通過鼠標拖動來將環(huán)節(jié)添加到主窗口中。   并可通過shift+鼠標拖動，實現環(huán)節(jié)之間的連接。

　　　　　　

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

常用環(huán)節(jié)介紹

類別	環(huán)節(jié)名稱	功能說明
Job entries	START	開始
	DUMMY	結束
	Transformation	引用Transformation流程
	Job	引用Job流程
	Shell	調用Shell腳本
	SQL	執(zhí)行sql語句
	FTP	通過FTP下載
	Table exists	檢查目標表是否存在，返回布爾值
	File exists	檢查文件是否存在，返回布爾值
	Javascript	執(zhí)行JavaScript腳本
	Create file	創(chuàng)建文件
	Delete file	刪除文件
	Wait for file	等待文件，文件出現后繼續(xù)下一個環(huán)節(jié)
	File Compare	文件比較，返回布爾值
	Wait for	等待時間，設定一段時間，kettle流程處于等待狀態(tài)
	Zip file	壓縮文件為ZIP包

大家如果感興趣可以繼續(xù)閱讀系列：二、ETL利器Kettle實戰(zhàn)應用解析系列二 【應用場景和實戰(zhàn)DEMO下載】

REFERENCE FROM : http://www.cnblogs.com/limengqiang/archive/2013/01/16/kettleapply1.html