生活随笔
收集整理的這篇文章主要介紹了
[原创]java使用JDBC向MySQL数据库批次插入10W条数据测试效率
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
使用JDBC連接MySQL數據庫進行數據插入的時候，特別是大批量數據連續插入（100000），如何提高效率呢？
在JDBC編程接口中Statement 有兩個方法特別值得注意：
通過使用addBatch（）和executeBatch（）這一對方法可以實現批量處理數據。
不過值得注意的是，首先需要在數據庫鏈接中設置手動提交，connection.setAutoCommit(false)，然后在執行Statement之后執行connection.commit()。
import java.io.BufferedReader;
import java.io.IOException;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;
import java.util.Date;
import com.mysql.jdbc.Connection;
public class MysqlBatchUtil {private String sql="INSERT INTO db_test (param1,param2,param3,param4,param5) VALUES (?,?,?,?,?)"
; private String charset="utf-8"
; private String connectStr="jdbc:mysql://localhost:3306/test"
;private String username="root"
; private String password="123456"
; private void doStore()
throws ClassNotFoundException, SQLException, IOException { Class.forName("com.mysql.jdbc.Driver"
); connectStr += "?useServerPrepStmts=false&rewriteBatchedStatements=true";
//此處是測試高效批次插入，去掉之后執行時普通批次插入Connection conn =
(Connection) DriverManager.getConnection(connectStr, username,password); conn.setAutoCommit(false);
// 設置手動提交 int count = 0
; PreparedStatement psts =
conn.prepareStatement(sql); String line =
null; Date begin=
new Date();for(
int i=0;i<=100000;i++
){psts.setString(1, i+"param1"
); psts.setString(2, i+"param2"
); psts.setString(3, i+"param3"
); psts.setString(4, i+"param4"
); psts.setString(5, i+"param5"
); psts.addBatch(); // 加入批量處理 count++
; } psts.executeBatch(); // 執行批量處理 conn.commit();
// 提交 Date end=
new Date();System.out.println("數量="+
count); System.out.println("運行時間="+(end.getTime()-
begin.getTime()));conn.close(); } public static void main(String[] args) {try {new MysqlBatchUtil().doStore();} catch (ClassNotFoundException e) {e.printStackTrace();} catch (SQLException e) {e.printStackTrace();} catch (IOException e) {e.printStackTrace();}}
} 測試結果：
數量=100001
運行時間=4725
一共10W，執行時間一共花費 47 秒.
這個效率仍然不高，似乎沒有達到想要的效果，需要進一步改進。
在MySQL JDBC連接字符串中還可以加入參數，
rewriteBatchedStatements=true
mysql默認關閉了batch處理，通過此參數進行打開，這個參數可以重寫向數據庫提交的SQL語句
useServerPrepStmts=false
如果不開啟(useServerPrepStmts=false)，使用com.mysql.jdbc.PreparedStatement進行本地SQL拼裝，最后送到db上就是已經替換了?后的最終SQL.
在此稍加改進，連接字符串中加入下面語句（代碼構造方法中去掉注釋）：
connectStr += "?useServerPrepStmts=false&rewriteBatchedStatements=true";
再次測試結果如下：
數量=100001
運行時間=1213
同樣的數據量，這次執行只花費了12秒 ，由此可見處理效率大大提高，呵呵，
注：文章是博主原創，轉載請注明來源啊，謝謝親！
總結
以上是生活随笔為你收集整理的[原创]java使用JDBC向MySQL数据库批次插入10W条数据测试效率的全部內容，希望文章能夠幫你解決所遇到的問題。
如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。
