四十一、ETL工具kettle输出步骤
生活随笔
收集整理的這篇文章主要介紹了
四十一、ETL工具kettle输出步骤
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
1. ETL工具Kettle的輸出步驟
Kettle輸入步驟主要分為以下幾類:
- 數據庫輸出
- 表輸出
- 更新、刪除、插入和更新
- 文件輸出
- 文本文件輸出
- XML輸出
- Excel文件輸出
- 其他
- 報表和應用
2 數據庫輸出
2.1 表輸出的功能
- 使用SQL的方式向數據庫提交數據
- 特點:表輸出支持批量提交數據,可以對數據進行分區,具有字段映射和返回自增列的弄能。
2.2 表輸出各自功能的特點
- 更新:根據關鍵字匹配規則,更新數據庫中已有的數據
- 刪除:根據關鍵字匹配規則,刪除數據庫已有的數據
- 插入:有則更新,無則插入,使用方便,可以作為誤刪除數據同步的一種方式,但是效率低。
2.3 數據同步
- 功能:基于比較的同步方式。根據一個flag字段執行相應的插入/刪除/刪除操作。
- 常用的數據同步方法有:
- 時間戳
- 比較
- 觸發器
- 日志
2.4 數據庫的批量加載和SQL文件輸出
- kettle中可以通過指定腳本使用流的的方式批量加載數據,常見的數據庫系統包括MySQL和Orcle數據庫的加載。
- SQL文件輸出可以根據選中的數據庫類型,生成相應的SQL腳本(DDL(數據定義語音),DML(數據操作語音))
3 Kettle的文件輸出
3.1 Excel文件輸出
Kettle可以直接將數據保存到Excel文件中。
- 注意事項:
- Excel輸出65535的限制
- Excel2007輸出則沒有該限制
3.2 文本文件和JSON文件輸出
- Kettle可以將文件直接保存至文本文件,同時也可以按照JSON的格式輸出數據,將數據保存至JSON文件中。
- 可選內容包括
- 文件名,內容,字段選擇等基本功能
- 文件分割,分批保存文件
- 可以通過Servelt的方式輸出JSON文件,Http的調用參數包括“rep”,“User”,“pass”,“trans”,“level”等。
3.3 報表輸出
1. 功能:生成報表(pdf、excel、html等格式),需要事先定義好報表的模板 2. 使用報表功能時也可以直接將數據保存至數據庫中,然后由數據庫和前端進行交互,提供報表的數據內容 與50位技術專家面對面20年技術見證,附贈技術全景圖總結
以上是生活随笔為你收集整理的四十一、ETL工具kettle输出步骤的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 四十、ETL工具的输入步骤
- 下一篇: 四十二、ETL工具Kettle的转换步骤