開源ETL工具(Kettle)

Pentaho Data Integration (Kettle)是Pentaho生態(tài)系統(tǒng)中默認的ETL工具。Kettle是一款國外開源的etl工具，純java編寫，綠色無需安裝，數(shù)據(jù)抽取高效穩(wěn)定(數(shù)據(jù)遷移工具)。Kettle中有兩種腳本文件，transformation和job，transformation完成針對數(shù)據(jù)的基礎轉換，job則完成整個工作流的控制。

通過非常直觀的圖形化編輯器（Spoon），您可以定義以XML格式儲存的流程。在Kettle運行過程中，這些流程會以不同的方法編譯。用到的工具包括命令行工具(Pan),小型服務器(Carte)，數(shù)據(jù)庫存儲庫（repository）(Kitchen)或者直接使用IDE(Spoon)。
 一款國外開源的etl工具，純java編寫，綠色無需安裝，數(shù)據(jù)抽取高效穩(wěn)定(數(shù)據(jù)遷移工具)。Kettle中有兩種腳本文件，transformation和job，transformation完成針對數(shù)據(jù)的基礎轉換，job則完成整個工作流的控制。

kettle清理數(shù)據(jù)庫連接的方法：

1：清理shared.xml中的不用的數(shù)據(jù)庫連接。（他的保存位置一般在用戶主目錄下邊的.kettle目錄中）
2：用文本編輯軟件打開kjb，ktr文件刪除用戶到的connection項，保存。

Kettle項目介紹：

Kettle是一款國外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運行，綠色無需安裝，數(shù)據(jù)抽取高效穩(wěn)定。

Kettle 中文名稱叫水壺，該項目的主程序員MATT 希望把各種數(shù)據(jù)放到一個壺里，然后以一種指定的格式流出。

Kettle 將 ELT 流程編譯為 XML 格式，學起來十分簡單，Pentaho Data Integration （Kettle） 使用 Java （Swing）開發(fā)。Kettle 作為編譯器對 XML 格式書寫的流程進行編譯。這些功能和組件比起 Talend 在豐富性方面稍遜一些，但是您建立復雜 ETL 流程需要的一切元素。Kettle 的 JavaScript 引擎(和 Java 引擎)可以深層地控制對數(shù)據(jù)的處理。

全球數(shù)千家機構依賴于Pentaho的，作出更快，更好的業(yè)務決策產(chǎn)生積極影響他們的底線。

運行 Spoon.bat 開始軟件。

需要JRE支持，JRE(Java Runtime Environment) v6.0 Update 26 安裝版：http://www.innovatechautomation.com/soft/22134.html

Kettle使用教程：

Kettle自己有三個主要組件：Spoon，Kitchen，Pan。其中Spoon是一個圖形化的界面，用于windows的時候，先設置環(huán)境變量：pentaho_java_home，例如：C:\Program Files\Java\jdk1.7.0_25，其實就是你的java安裝目錄，1.6以上即可。windows下雙擊Spoon.bat就可以了，界面如下：

這里我建立了資源庫，其實可以用文件形式存儲，存儲的結構都是xml，但是我還是覺得建立一個資源庫比較好，以后看job等情況也比較簡單，因為數(shù)據(jù)表的可讀性比xml要好得多。建立資源庫和文件資源庫只需要把右上角的小加號點一下，就會出現(xiàn)如下如的界面：

選擇第一個就是建立數(shù)據(jù)庫版的資源庫，之后：

之后：

測試通過之后點擊OK就回到最開始的界面，這時候選擇test數(shù)據(jù)庫連接，然后出入你的工程（我是這么叫的）ID和name，這里要記住，因為以后kitchen調(diào)度的時候要輸入這個參數(shù)。

在接下來彈出的框中都點“是”，然后會出現(xiàn)這個界面：

這步會在你的用戶下建立很多表，所以最好單獨給資源庫建立一個用戶，當然這是在oracle下，mysql下和DB2下最好也采用同樣的方式，把資源庫和其他庫分開。檢查一下：

SQL> conn wings/wings@prism
已連接。
SQL> select count(1) from r_repository_log;

COUNT(1)
----------
0

SQL>

表已經(jīng)建好了�；氐阶铋_始的界面，選擇test，點擊確定，然后就會出現(xiàn)登錄對話框，用戶密碼默認都是admin，以后可以自己改。

接下來就可以開始用這個工具了。

其實對于簡單的數(shù)據(jù)庫數(shù)據(jù)的抽取，基本只需要轉換和作業(yè)這兩種東西。下面就是建立一個轉換的步驟：

1 點擊文件-->新建-->轉換。

2 在左側的樹狀列表中選“主對象樹”，新建DB連接。步驟和上面建資源庫一樣。一個目標庫一個源庫。

3 在核心對象-->輸入這個地方拖出一個表輸入，在“輸出”目錄下拖出“表輸出”，在“轉換”處拖出一個字段選擇來，如圖：

每一個對象都可以雙擊修改屬性，下面以抽取world數(shù)據(jù)庫的city表為例。

雙擊表輸入，選擇數(shù)據(jù)庫連接，選擇源數(shù)據(jù)庫，然后點擊“獲取SQL查詢語句”，在彈出的對話框里進行選擇即可，之后會變成這樣：

下面點擊表輸出：

點擊字段選擇：

這樣，一個簡單的抽取數(shù)據(jù)的轉換就完成了。執(zhí)行之，點擊上面的綠色開始按鈕。

我也處在學習中，希望可以把我的經(jīng)驗分享給和我一樣的入門者。

下面是補充部分：

在一個Job或者一個trans建立好之后，就可以建立定時任務了。如果是DS，那么DS客戶端本身就支持schedule，但是Kettle因為沒有服務端和客戶端的概念，因此只有使用linux的crontab，其實Job本身也支持定時，但是你必須保證圖形界面一直開著，這樣并不如crontab那么好。在命令行里使用kettle很簡單，Job用kitchen調(diào)度，trans用pan調(diào)度。

下面是一個kitchen的調(diào)度命令：

bash /home/kettle/data-integration/kitchen.sh /rep kettle_demo /user username /pass passwd /level Minimal /dir /dirname /job jobname

rep那里寫自己的資源庫名稱。

trans和上面一樣，略有不同：

bash /home/kettle/data-integration/pan.sh /rep kettle_demo /user username /pass passwd /level Minimal /dir /dirname /trans transname