Kettle下载安装使用
Kettle下載安裝使用
- 1. 下載
- 2. 解壓
- 3. Kettle使用,新建轉換
1. 下載
如果您是 Pentaho 的新手,您有時可能會看到或聽到被稱為“Kettle”的 Pentaho 數據集成。Pentaho Data Integration 最初是一個名為“Kettle”的開源項目。術語 KETTLE 是一個遞歸術語,代表 Kettle Extraction Transformation Transport Load Environment。Pentaho 收購 Kettle 后,更名為 Pentaho Data Integration。其他 PDI 組件(例如Spoon、Pan和Kitchen)的名稱最初是為了支持 ETL 產品的“烹飪”隱喻。
——Pentaho幫助文檔, Google翻譯
Kettle是一款開源免費的ETL工具,ETL全稱 Extract - Transform - Load 意味著數據抽取,轉換,裝載的過程。
ETL是將業務系統的數據經過抽取、清洗轉換之后加載到數據倉庫的過程,目的是將企業中的分散、零亂、標準不統一的數據整合到一起,為企業的決策提供分析依據, ETL是BI(商業智能)項目重要的一個環節。
——百度
1)kettle下載地址:官網
2)再下個mysql驅動包:下載地址,打開地址選擇Platform Independent,然后點擊下載,有驅動包就不用下載了。
下載好后將文件解壓,將里面的 mysql-connector-java-5.1.49-bin.jar 放到,kettle解壓的lib下面( \data-integration\lib)。
3) 因為我需要用到db2,所以又下載了個db2驅動包,密碼:188p,還是放在lib目錄下,
把這兩個都放在和剛才mysql驅動包同樣的地方。(不用db2,只用mysql忽略此步,反正就是用什么數據庫按什么驅動)
2. 解壓
解壓后,點開Spoon.bat啟動
Spoon.bat:在Windows平臺上運行spoon;
Spoon.sh:在Linux、AppleOSX、Solaris平臺上運行Spoon。
3. Kettle使用,新建轉換
對了,需要準備Java軟件的運行環境,需要先安裝JDK,jdk1.8版本就行,配置環境變量。學過Java的應該都有吧,不會有人沒有吧。
PDI 客戶端(也稱為 Spoon)是一個桌面應用程序,使您能夠構建轉換以及安排和運行作業。
PDI 客戶端的常見用途包括:
不同數據庫和應用程序之間的數據遷移
充分利用云、集群和大規模并行處理環境將大量數據集加載到數據庫中
數據清理步驟從非常簡單到非常復雜的轉換
數據集成,包括利用實時 ETL 作為 Pentaho Reporting 數據源的能力
內置支持緩慢變化的維度和代理鍵創建的數據倉庫填充(如上所述)
Pentaho幫助文檔
下面要實現的就是將一個數據庫表的數據,抽取轉換裝載到另一個數據庫的表里。
兩個數據庫里的表內容是這樣的。
1) 新建轉換:可以直接Ctrl+N,也可以右鍵轉換新建,雙擊轉換也行。
新建后會出現下圖所示的界面。保存一下,我起名叫demo.
2)表輸入
選擇表輸入直接拖拽到右側,或者雙擊都行。表輸入這個在輸入下面,不知道在哪,直接在上面搜索就行。
配置表輸入
新建連接
防止亂碼
2)插入更新
將輸出里面的插入/更新拖進去,按shift連表輸入到插入/更新
配置插入更新,新建了個數據庫連接用來連接student表
3)運行
點擊左上角那塊運行,成功下面會有綠色的符號
結果是這樣的,就是性別那部分想男為1,女為0,所以再加一步值映射
4)值映射在轉換里,或者搜索一下拖拽進去,直接拽 到這兩個中間。
配置一下,選擇要映射的字段,編輯字段要映射成的值,然后運行一下,刷新下表就行了。
5)現在想將男女兩部分分開,用過濾記錄,將過濾記錄拖入進去如下圖所在位置。
過濾記錄后面的對號和紅色的× 不是正確或者錯誤的意思,是過濾完成的數據走對號,被過濾掉的走×。
過濾條件是sex = 1, 將為1的true數據發送給男,false錯誤的發送給女。
我新加了個插入更新,更名為男和女
運行一下。運行之前我將之前student表里的數據全部刪除,又建了一個表用來放性別女的數據,原先的就用來放性別男的數據。
OK,過濾成功。
總結
以上是生活随笔為你收集整理的Kettle下载安装使用的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: docker 安装svnserver
- 下一篇: 一文读懂软考高项(高级-信息系统项目管理