oracle 加载数据戽_走进大数据丨 ETL - Load(数据加载)
生活随笔
收集整理的這篇文章主要介紹了
oracle 加载数据戽_走进大数据丨 ETL - Load(数据加载)
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
LOAD 加載經轉換和匯總的數據到目標數據倉庫中,可實現SQL或批量加載數據加載(Load) 經過數據轉換生成的文件的結構與數據倉庫數據表的結構完全一致,可以直接通過數據加載工具,以Bulk Load的方式加載到數據倉庫中。數據加載工作以oracle數據庫為例大致可以分為3步進行。
加載準備
在真正進行數據加載之前還可能需要完成以下準備工作。
刪除數據倉庫中數據表的索引,提高加載效率。主要是針對detail及fact大表,可以直接調用DBA所創建的索引維護腳本。DBA調試過數據倉庫后,必須更新相應的索引維護腳本,以保證ETL能夠正確刪除和建立索引。加載
Load主要完成將轉換后文件的數據加載到數據倉庫的表中。需要用到的加載方式有三種
Insert:只需要將轉換后文件所有數據完全Insert到目標表中。UpdAdd(Update Add):需要對目標表同時做Update及Insert操作,根據primary key,對于已有的記錄進行Update操作;對于不存在的記錄做Insert的操作;對于數據量大的表,由于此操作的效率非常低可以采用先將轉換后文件分割為Delet文件及Insert文件,然后先將Delete文件中的記錄根據 primay key對應從數據倉庫中刪除,然后再從Insert文件中將所有記錄全部Insert到目標表中。Refresh:即將目標表的數據完全更新,一般的做法是先Truncate目標表的數據,然后再完全 Insert要加載的記錄。加載過程中數據倉庫關閉數據RI(Referential Integrity)管理功能,數據庫的RI檢查由ETL應用程序完成。加載后
- 重新生成索引,在加載后階段刪除的索引需在此重建。該過程也是調用DBA維護的索引維護腳本。
- 文件清理:刪除不需要的臨時文件及臨時表。
使用裝載工具或數據查詢語言(SQL)時注意點:效率問題、避免違反約束條件,注意裝載順序。
總結
以上是生活随笔為你收集整理的oracle 加载数据戽_走进大数据丨 ETL - Load(数据加载)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 北师大初中数学知识点大全(初中数学知识点
- 下一篇: 邮箱有什么用_大公司为什么要用企业邮箱?