西西軟件園多重安全檢測下載網(wǎng)站、值得信賴的軟件下載站!
西西首頁 電腦軟件 安卓軟件 電腦游戲 安卓游戲 排行榜 專題合集

開源ETL工具(Kettle)

V5.1.0 免費Spoon版
  • 開源ETL工具(Kettle)V5.1.0 免費Spoon版
  • 軟件大小:579.6M
  • 更新時間:2014-09-29 08:42
  • 軟件語言:多國語言[中文]
  • 軟件廠商:
  • 軟件類別:國外軟件 / 免費軟件 / 數(shù)據(jù)庫類
  • 軟件等級:4級
  • 應用平臺:WinAll, WinXP
  • 官方網(wǎng)站:http://www.pentaho.com/
  • 應用備案:
好評:50%
壞評:50%

軟件介紹

Pentaho Data Integration (Kettle)是Pentaho生態(tài)系統(tǒng)中默認的ETL工具。Kettle是一款國外開源的etl工具,純java編寫,綠色無需安裝,數(shù)據(jù)抽取高效穩(wěn)定(數(shù)據(jù)遷移工具)。Kettle中有兩種腳本文件,transformation和job,transformation完成針對數(shù)據(jù)的基礎轉換,job則完成整個工作流的控制。

通過非常直觀的圖形化編輯器(Spoon),您可以定義以XML格式儲存的流程。在Kettle運行過程中,這些流程會以不同的方法編譯。用到的工具包括命令行工具(Pan),小型服務器(Carte),數(shù)據(jù)庫存儲庫(repository)(Kitchen)或者直接使用IDE(Spoon)。
 一款國外開源的etl工具,純java編寫,綠色無需安裝,數(shù)據(jù)抽取高效穩(wěn)定(數(shù)據(jù)遷移工具)。Kettle中有兩種腳本文件,transformation和job,transformation完成針對數(shù)據(jù)的基礎轉換,job則完成整個工作流的控制。

kettle清理數(shù)據(jù)庫連接的方法:

1:清理shared.xml中的不用的數(shù)據(jù)庫連接。(他的保存位置一般在用戶主目錄下邊的.kettle目錄中)
2:用文本編輯軟件打開kjb,ktr文件刪除用戶到的connection項,保存。

Kettle項目介紹:

Kettle是一款國外開源的ETL工具,純java編寫,可以在Window、Linux、Unix上運行,綠色無需安裝,數(shù)據(jù)抽取高效穩(wěn)定。

Kettle 中文名稱叫水壺,該項目的主程序員MATT 希望把各種數(shù)據(jù)放到一個壺里,然后以一種指定的格式流出。

Kettle 將 ELT 流程編譯為 XML 格式,學起來十分簡單,Pentaho Data Integration (Kettle) 使用 Java (Swing)開發(fā)。Kettle 作為編譯器對 XML 格式書寫的流程進行編譯。這些功能和組件比起 Talend 在豐富性方面稍遜一些,但是您建立復雜 ETL 流程需要的一切元素。Kettle 的 JavaScript 引擎(和 Java 引擎)可以深層地控制對數(shù)據(jù)的處理。

全球數(shù)千家機構依賴于Pentaho的,作出更快,更好的業(yè)務決策產(chǎn)生積極影響他們的底線。

運行 Spoon.bat 開始軟件。

需要JRE支持,JRE(Java Runtime Environment) v6.0 Update 26 安裝版:http://www.innovatechautomation.com/soft/22134.html

Kettle使用教程:

Kettle自己有三個主要組件:Spoon,Kitchen,Pan。其中Spoon是一個圖形化的界面,用于windows的時候,先設置環(huán)境變量:pentaho_java_home,例如:C:\Program Files\Java\jdk1.7.0_25,其實就是你的java安裝目錄,1.6以上即可。windows下雙擊Spoon.bat就可以了,界面如下:

這里我建立了資源庫,其實可以用文件形式存儲,存儲的結構都是xml,但是我還是覺得建立一個資源庫比較好,以后看job等情況也比較簡單,因為數(shù)據(jù)表的可讀性比xml要好得多。建立資源庫和文件資源庫只需要把右上角的小加號點一下,就會出現(xiàn)如下如的界面:

選擇第一個就是建立數(shù)據(jù)庫版的資源庫,之后:

之后:

測試通過之后點擊OK就回到最開始的界面,這時候選擇test數(shù)據(jù)庫連接,然后出入你的工程(我是這么叫的)ID和name,這里要記住,因為以后kitchen調(diào)度的時候要輸入這個參數(shù)。

在接下來彈出的框中都點“是”,然后會出現(xiàn)這個界面:

這步會在你的用戶下建立很多表,所以最好單獨給資源庫建立一個用戶,當然這是在oracle下,mysql下和DB2下最好也采用同樣的方式,把資源庫和其他庫分開。檢查一下:

SQL> conn wings/wings@prism
已連接。
SQL> select count(1) from r_repository_log;

COUNT(1)
----------
0

SQL>

表已經(jīng)建好了;氐阶铋_始的界面,選擇test,點擊確定,然后就會出現(xiàn)登錄對話框,用戶密碼默認都是admin,以后可以自己改。

接下來就可以開始用這個工具了。

其實對于簡單的數(shù)據(jù)庫數(shù)據(jù)的抽取,基本只需要轉換和作業(yè)這兩種東西。下面就是建立一個轉換的步驟:

1 點擊文件-->新建-->轉換。

2 在左側的樹狀列表中選“主對象樹”,新建DB連接。步驟和上面建資源庫一樣。一個目標庫一個源庫。

3 在核心對象-->輸入這個地方拖出一個表輸入,在“輸出”目錄下拖出“表輸出”,在“轉換”處拖出一個字段選擇來,如圖:

每一個對象都可以雙擊修改屬性,下面以抽取world數(shù)據(jù)庫的city表為例。

雙擊表輸入,選擇數(shù)據(jù)庫連接,選擇源數(shù)據(jù)庫,然后點擊“獲取SQL查詢語句”,在彈出的對話框里進行選擇即可,之后會變成這樣:

下面點擊表輸出:

點擊字段選擇:

這樣,一個簡單的抽取數(shù)據(jù)的轉換就完成了。執(zhí)行之,點擊上面的綠色開始按鈕。

我也處在學習中,希望可以把我的經(jīng)驗分享給和我一樣的入門者。

下面是補充部分:

在一個Job或者一個trans建立好之后,就可以建立定時任務了。如果是DS,那么DS客戶端本身就支持schedule,但是Kettle因為沒有服務端和客戶端的概念,因此只有使用linux的crontab,其實Job本身也支持定時,但是你必須保證圖形界面一直開著,這樣并不如crontab那么好。在命令行里使用kettle很簡單,Job用kitchen調(diào)度,trans用pan調(diào)度。

下面是一個kitchen的調(diào)度命令:

bash /home/kettle/data-integration/kitchen.sh /rep kettle_demo /user username /pass passwd /level Minimal /dir /dirname /job jobname

rep那里寫自己的資源庫名稱。

trans和上面一樣,略有不同:

bash /home/kettle/data-integration/pan.sh /rep kettle_demo /user username /pass passwd /level Minimal /dir /dirname /trans transname

軟件截圖

開源ETL工具(Kettle) V5.1.0 免費Spoon版

其他版本下載

最新評論查看所有(7)條評論 >

第 7 樓 浙江杭州鐵通 網(wǎng)友 客人 2017/8/10 8:57:11
不错!

支持( 0 ) 蓋樓(回復)

第 6 樓 澳大利亞 網(wǎng)友 客人 2015/10/11 20:23:19
真的太好了

支持( 0 ) 蓋樓(回復)

第 5 樓 美國CZ88.NET 網(wǎng)友 客人 2015/1/13 16:53:05
不错

支持( 0 ) 蓋樓(回復)

第 4 樓 山西太原金玉網(wǎng)吧(山西大學商務學院) 網(wǎng)友 客人 2014/11/19 16:58:55
还不错

支持( 0 ) 蓋樓(回復)

第 3 樓 浙江寧波寧波大紅鷹學院 網(wǎng)友 客人 2013/11/21 22:37:08

引用( 俄羅斯 客人 2013/8/23 15:01:47

變量的類型Kettle 的早期版本中的變量只有系統(tǒng)環(huán)境變量目前版本中(3.1) 變量包括系統(tǒng)環(huán)境變量, Kettle變量 和內(nèi)部變量三種系統(tǒng)環(huán)境變量的影響范圍很廣,凡是在一個 JVM下運行的線程都受其影響.Kettle 變量限制了變量的作用范圍

支持( 0 ) 蓋樓(回復)

第 2 樓 浙江寧波寧波大紅鷹學院 網(wǎng)友 客人 2013/11/21 22:36:54
aaaaaaaaaaaaaaaaaa

支持( 0 ) 蓋樓(回復)

第 1 樓 俄羅斯 網(wǎng)友 客人 2013/8/23 15:01:47
變量的類型Kettle 的早期版本中的變量只有系統(tǒng)環(huán)境變量目前版本中(3.1) 變量包括系統(tǒng)環(huán)境變量, Kettle變量 和內(nèi)部變量三種系統(tǒng)環(huán)境變量的影響范圍很廣,凡是在一個 JVM下運行的線程都受其影響.Kettle 變量限制了變量的作用范圍

支持( 0 ) 蓋樓(回復)

發(fā)表評論

昵稱:
表情: 高興 可 汗 我不要 害羞 好 下下下 送花 屎 親親
查看所有(7)條評論 > 字數(shù): 0/500

TOP
軟件下載