mysql快速導(dǎo)入5000萬條數(shù)據(jù)過程記錄(LOAD DATA INFILE方式)

首先將要導(dǎo)入的數(shù)據(jù)文件top5000W.txt放入到數(shù)據(jù)庫數(shù)據(jù)目錄/var/local/mysql/data/${db_name}/ 下，并確保導(dǎo)入用戶擁有這個(gè)txt文件的權(quán)限,否則會(huì)報(bào)Error 13錯(cuò)誤

1.${table_name}換myisam，我們的場景對事務(wù)沒啥要求，innodb引擎速度太慢了,原來導(dǎo)入12個(gè)小時(shí)都沒導(dǎo)完


2.導(dǎo)入前修改參數(shù)和禁止索引更新
mysql> SET SESSION BULK_INSERT_BUFFER_SIZE=256217728;
mysql> SET SESSION MYISAM_SORT_BUFFER_SIZE=256217728;


mysql> set global KEY_BUFFER_SIZE=256217728;
mysql> alter table ${table_name} disable keys;?


mysql> LOAD DATA INFILE "top5000W.txt" INTO TABLE ${table_name} FIELDS TERMINATED BY ',' LINES TERMINATED BY ?'\n' (id,day,app_ids,id_1,id_2,id_3,combine_rate,active_nums,id_size)


3.導(dǎo)入后
mysql> ALTER TABLE ${table_name} ENABLE KEYS;?


耗時(shí)統(tǒng)計(jì)：
LOAD DATA INFILE... 這步耗時(shí)8分鐘左右
ALTER TABLE... 這步耗時(shí)12分鐘左右

轉(zhuǎn)載于:https://www.cnblogs.com/dailidong/p/7571074.html

總結(jié)

以上是生活随笔為你收集整理的mysql快速导入5000万条数据过程记录(LOAD DATA INFILE方式)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。