外部表如何导入mysql_如何利用Oracle外部表导入文本文件的数据
Oracle外部表支持兩種類型的驅動:一種是ORACLE_LOADER,外部表的數據必須來源于文件文件,另一種則是ORACLE_DATAPUMP,外部表的
同事最近在忙數據一致性比對工作,需要對不同文本文件中的數據進行比對,有的文件較大,記錄較多,如果用普通的文本編輯器打開的話,很顯然,會很卡,甚至打不開。
基于此,可將該文本文件的數據導入到數據庫中,在集合的層面進行比對。
那么如何將文本文件的數據導入到數據庫中呢?在這里,主要利用了Oracle的外部表特性。
Oracle外部表支持兩種類型的驅動:一種是ORACLE_LOADER,外部表的數據必須來源于文件文件,另一種則是ORACLE_DATAPUMP,外部表的數據必須是二進制dump文件,該dump文件是先前將Oracle內部表的數據導入到外部表中填充的文件。很顯然,Oracle希望將數據保留在數據庫內部進行處理。
首先,我們來看一下該文本文件的大小及記錄。
[oracle@node2 ~]$ du -sm P_20150626010000_2002371.0003479598
274 P_20150626010000_2002371.0003479598[oracle@node2~]$ wc -l P_20150626010000_2002371.0003479598
2899265 P_20150626010000_2002371.0003479598
從上面的輸出可以看出,該文件274M,有2899265條記錄。
其次,構建創建外部表語句。
CREATE TABLEemp_load
(subsidnumber(18),
servnumberVARCHAR2(20 CHAR),
subsprodidNUMBER(18),
prodidVARCHAR2(32 CHAR),
startdate date,
enddate date,
ownerVARCHAR2(4 CHAR))
ORGANIZATION EXTERNAL
(TYPE ORACLE_LOADERDEFAULTDIRECTORY tmp
ACCESS PARAMETERS
(RECORDS DELIMITEDBYNEWLINE
FIELDS TERMINATEDBY "|"
( subsidDECIMALEXTERNAL,
servnumberCHAR(20),
subsprodidDECIMALEXTERNAL,
prodidCHAR(32),
startdate date "yyyymmddhh24miss",
enddate date "yyyymmddhh24miss",
ownerCHAR(4)
)
)
LOCATION ()
);
注意,目錄tmp必須存在,因為我是在scott用戶下執行的,所以scott用戶必須對該路徑有讀寫權限。
第三、在scott用戶下執行該建表語句。
第四、查看生成的外部表是否有問題
SQL(*) fromemp_load;COUNT(*)
記錄與wc-l查看的記錄數吻合。
注意,建表過程中沒有報錯并不一定意味著數據已經成功加載在外部表中。必須通過查詢外部表來判定數據是否已成功加載,倘若有錯誤提示,可參看當前目錄下生成的日志文件,具體在本例中,是EMP_LOAD_2000.bad和EMP_LOAD_2000.log。
當然,外部表中的數據只能查詢,不能做DML操作,譬如,隨機刪除表中的一條數據
SQLemp_load where rownum=1;ERROR at line1:
ORA-30657: operation not supported on external organized table
如果想對該外部表數據進行DML操作,可先將外部表的數據導入到內部表中。具體步驟如下:
SQLtest emp_load ;Tablecreated.test emp_load;2899265rows created.
Elapsed:00:01:00.29SQLtest where rownum<=100;test ERROR at line1:
ORAmodify an object after modifying it inparallel;Commitcomplete.SQLtest where rownum<=100;
在這里,為了節省時間,我用了直接路徑插入,可以看出,插入近300萬數據,只用了1分左右的時間,考慮到我虛擬機上的數據庫,只給它分配了300M的內存,加載的效率還是相當可觀的。
SQL>show parameter memory
NAME
TYPE
VALUE------------------------------------ ----------- ------------------------------
hi_shared_memory_address
integer
0memory_max_target
biginteger300M
memory_target
biginteger300M
shared_memory_addressinteger
0
后來,測試了一下傳統路徑插入所消耗的時間,為了和直接路徑插入進行比較,剔除SQL解析,data buffer等因素的影響,清空了共享池和buffer cache,具體如下:
SQL> conn /assysdba
Connected.
SQL> altersystem flush shared_pool;
System altered.
SQL> altersystem flush buffer_cache;
System altered.
SQL> conn scott/tiger
Connected.
SQL> set timing onSQLtest emp_load;2899265rows created.
Elapsed:00:01:05.36
用傳統路徑插入(即會產生redo日志),耗時1分5秒,相對于直接路徑插入,兩者效率相差不大,看來還是數據量較小,不能明顯的體現直接路徑插入速度上的優勢。
注意:在SQL*PLUS中,,number字段的輸出默認為10,這樣會導致對于937116510102250300這樣的數值,可能會顯示為9.3712E+17,在這里,可通過set numwidth 18來顯示完整的number字段的值。
本文永久更新鏈接地址:
本文原創發布php中文網,轉載請注明出處,感謝您的尊重!
總結
以上是生活随笔為你收集整理的外部表如何导入mysql_如何利用Oracle外部表导入文本文件的数据的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 笔记本的无线被禁用了怎么办 笔记本电脑的
- 下一篇: java sql string_JAVA