四十二、ETL工具Kettle的转换步骤
生活随笔
收集整理的這篇文章主要介紹了
四十二、ETL工具Kettle的转换步骤
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
1. ETL工具Kettle的轉換步驟
1.1 Kettle轉換步驟的具體內容:
- 字符串處理
- 字符串的拆分
- 字符串的替換
- 行列變換
- 其他轉換步驟
- 閉合距離
- XSL轉換
- 數值范圍
2 字符串的處理
2.1 字符串的拆分
- 按位置拆分字符串,完成對字符串的剪輯
- 按標志字符一列拆分成多列或多行
- 字符串的合并:
- 多列合并為一列
- 多行合并為一行
2.2 字符串的替換
- 值映射
- 使用正則表達式
2.3 字符串的其他轉換
- 使用常量替換一個字段的值。
- 使用一個字段替換另一個字段的值。
- 字符串操作
- 保留/移除字符串里的數字
- 補充指定長度的字符川
- 移去字符串里的特殊字符
3 行列變換及排序和排重
3.1 行轉列(反正規化Denormaliser)
1. 功能:把多行的窄表轉換成多列的寬表 2. 前提:需要事先按照分組字段排序 3. 特點:規范,便于擴展3.2 列轉行(正規化Normaliser)
- 把多列的寬表轉換成多行的窄表
- 特點:方便查詢
3.3 排序和排重
- 排序:使用快速排序算法對數據完成排序
- 排重
- Unique Row: 需要事先排序
- Unique Row(Hash):不排序、速度快、占內存
總結
以上是生活随笔為你收集整理的四十二、ETL工具Kettle的转换步骤的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 四十一、ETL工具kettle输出步骤
- 下一篇: 四十三、ETL工具的流程和应用