Hibernate 批量插入、更新与删除
?http://blog.sina.com.cn/s/blog_54829a240100glku.html
批量插入???? 在項目的開發過程之中,由于項目需求,我們常常需要把大批量的數據插入到數據庫。數量級有萬級、十萬級、百萬級、甚至千萬級別的。如此數量級別的數據用Hibernate做插入操作,就可能會發生異常,常見的異常是OutOfMemoryError(內存溢出異常)。
??? 首先,我們簡單來回顧一下Hibernate插入操作的機制。Hibernate要對它內部緩存進行維護,當我們執行插入操作時,就會把要操作的對象全部放到自身的內部緩存來進行管理。
??? 談到Hibernate的緩存,Hibernate有內部緩存與二級緩存之說。由于Hibernate對這兩種緩存有著不同的管理機制,對于二級緩存,我們可以對它的大小進行相關配置,而對于內部緩存,Hibernate就采取了“放任自流”的態度了,對它的容量并沒有限制。現在癥結找到了,我們做海量數據插入的時候,生成這么多的對象就會被納入內部緩存(內部緩存是在內存中做緩存的),這樣你的系統內存就會一點一點的被蠶食,如果最后系統被擠“炸”了,也就在情理之中了。
??? 我們想想如何較好的處理這個問題呢?有的開發條件又必須使用Hibernate來處理,當然有的項目比較靈活,可以去尋求其他的方法。
??? 筆者在這里推薦兩種方法:
?? (1):優化Hibernate,程序上采用分段插入及時清除緩存的方法。
??? (2):繞過Hibernate API ,直接通過 JDBC API 來做批量插入,這個方法性能上是最好的,也是最快的。
??? 對于上述中的方法1,其基本是思路為:優化Hibernate,在配置文件中設置hibernate.jdbc.batch_size參數,來指定每次提交SQL的數量;程序上采用分段插入及時清除緩存的方法(Session實現了異步write-behind,它允許Hibernate顯式地寫操作的批處理),也就是每插入一定量的數據后及時的把它們從內部緩存中清除掉,釋放占用的內存。
???? 設置hibernate.jdbc.batch_size參數,可參考如下配置。
<hibernate-configuration>
<session-factory>
.........
<property name=” hibernate.jdbc.batch_size”>50</property>
.........
<session-factory>
<hibernate-configuration>
配置hibernate.jdbc.batch_size參數的原因就是盡量少讀數據庫,hibernate.jdbc.batch_size參數值越大,讀數據庫的次數越少,速度越快。從上面的配置可以看出,Hibernate是等到程序積累到了50個SQL之后再批量提交。
??? 筆者也在想,hibernate.jdbc.batch_size參數值也可能不是設置得越大越好,從性能角度上講還有待商榷。這要考慮實際情況,酌情設置,一般情形設置30、50就可以滿足需求了。
??? 程序實現方面,筆者以插入10000條數據為例子,如
Session session=HibernateUtil.currentSession();
Transatcion tx=session.beginTransaction();
for(int i=0;i<10000;i++)
{
??? Student st=new Student();
??? st.setName(“feifei”);
??? session.save(st);
??? // 以每50個數據作為一個處理單元
??? if(i%50==0)??
??? {
??????? // 只是將Hibernate緩存中的數據提交到數據庫,保持與數據庫數據的同步
??????? session.flush();??
??????? //?清除內部緩存的全部數據,及時釋放出占用的內存
??????? session.clear();??
??? }
}
tx.commit();
.........
在一定的數據規模下,這種做法可以把系統內存資源維持在一個相對穩定的范圍。
??? 注意:前面提到二級緩存,筆者在這里有必要再提一下。如果啟用了二級緩存,從機制上講Hibernate為了維護二級緩存,我們在做插入、更新、刪除操作時,Hibernate都會往二級緩存充入相應的數據。性能上就會有很大損失,所以筆者建議在批處理情況下禁用二級緩存。
??? 對于方法2,采用傳統的JDBC的批處理,使用JDBC API來處理。
些方法請參照java 批處理自執行SQL
看看上面的代碼,是不是總覺得有不妥的地方?對,沒發現么!這還是JDBC的傳統編程,沒有一點Hibernate味道。
??? 可以對以上的代碼修改成下面這樣:
Transaction tx=session.beginTransaction(); //使用Hibernate事務處理
邊界Connection conn=session.connection();
PrepareStatement stmt=conn.prepareStatement(“insert into T_STUDENT(name) values(?)”);
for(int j=0;j++;j<200)...{
for(int i=0;i++;j<50)
...{
stmt.setString(1,”feifei”);
}
}
stmt.executeUpdate();
tx.commit(); //使用 Hibernate事務處理邊界
.........
這樣改動就很有Hibernate的味道了。筆者經過測試,采用JDBC API來做批量處理,性能上比使用Hibernate API要高將近10倍,性能上JDBC 占優這是無疑的。
批量更新與刪除
??? Hibernate2中,對于批量更新操作,Hibernate是將符合要求的數據查出來,然后再做更新操作。批量刪除也是這樣,先把符合條件的數據查出來,然后再做刪除操作。
??? 這樣有兩個大缺點:
??? (1):占用大量的內存。
??? (2):處理海量數據的時候,執行update/delete語句就是海量了,而且一條update/delete語句只能操作一個對象,這樣頻繁的操作數據庫,性能低下應該是可想而知的了。
???? Hibernate3 發布后,對批量更新/刪除操作引入了bulk update/delete,其原理就是通過一條HQL語句完成批量更新/刪除操作,很類似JDBC的批量更新/刪除操作。在性能上,比Hibernate2的批量更新/刪除有很大的提升。
Transaction tx=session.beginSession();
String HQL=”delete STUDENT”;
Query query=session.createQuery(HQL);
int size=query.executeUpdate();
tx.commit();
.......
控制臺輸出了也就一條刪除語句Hibernate:delete from T_STUDENT,語句執行少了,性能上也與使用JDBC相差無幾,是一個提升性能很好的方法。當然為了有更好的性能,筆者建議批量更新與刪除操作還是使用JDBC,方法以及基本的知識點與上面的批量插入方法2基本相同,這里就不在冗述。
??? 筆者這里再提供一個方法,就是從數據庫端來考慮提升性能,在Hibernate程序端調用存儲過程。存儲過程在數據庫端運行,速度更快。以批量更新為例,給出參考代碼。
??? 首先在數據庫端建立名為batchUpdateStudent存儲過程:
create or replace produre batchUpdateStudent(a in number) as
begin
update STUDENT set AGE=AGE+1 where AGE>a;
end;
調用代碼如下:
Transaction tx=session.beginSession();
Connection conn=session.connection();
String pd=”...{call batchUpdateStudent(?)}”;
CallableStatement cstmt=conn.PrepareCall(pd);
cstmt.setInt(1,20); //把年齡這個參數設為20
tx.commit();
觀察上面的代碼,也是繞過Hibernate API,使用 JDBC API來調用存儲過程,使用的還是Hibernate的事務邊界。存儲過程無疑是提高批量處理性能的一個好方法,直接運行與數據庫端,某種程度上講把批處理的壓力轉接給了數據庫。
??? 三:編后語
??? 本文探討了Hibernate的批處理操作,出發點都是在提高性能上考慮了,也只是提供了提升性能的一個小方面。
??? 不管采取什么樣的方法,來提升性能都要根據實際的情況來考慮,為用戶提供一個滿足需求的而且高效穩定的系統才是重中之中。
?
?
===============
hibernate批量保存原理
數據的保存,更新和刪除:
?? 1、Session.save()方法:
Session.save()方法用于實體對象的持久化保存,也就是說當執行session.save()方法時會生成對應的insert SQL語句,完成數據的保存。如下面的代碼:
User user=new User();
user.setName(“zx”);
Transaction tx=session.beginTransaction();
session.save(user);
tx.commit();
當執行到session.save()方法時,Hibernate并不會馬上生成insert SQL語句來進行數據的保存,而是當稍后清理session的緩存時才有可能執行insert SQL語句,那么session.save()方法到底會執行哪些步驟呢?請看進行了如下總結:
一、?????????? 在session的內部緩存中尋找保存對象,如果找到了,則認為此數據已經保存(曾經執行過insert操作),實體對象已經處于persistent狀態,直接返回。此時即使數據相比之前的狀態發生了變化,也將在事務提交時由臟數據檢查來判定是否需要執行update操作。
二、?????????? 如果實體對象實現了lifecycle接口,那么將執行待保存對象的onSave()方法。
三、?????????? 如果實體對象實現了Validatable接口,那么將會執行相應的validate()方法。
四、?????????? 如果存在攔截器對象,那么將會執行Interceptor.onSave()方法。
五、?????????? 構造insert SQL語句完成數據保存。
六、?????????? 數據保存成功后,設定實體對象的id為插入記錄的id。
七、?????????? 將保存后的實體對象納入Hibernate的內部緩存(一級緩存)。注意Hibernate不會把保存后的實體對象納入二級緩存,因為剛剛保存過的實體對象很可能在之后被修改,緩存的頻繁更新以及帶來的同步問題代價,超出了緩存該對象所帶來的收益。
八、?????????? 最后如果該對象有關聯對象,那么將會遞歸處理該級聯對象。
總結
以上是生活随笔為你收集整理的Hibernate 批量插入、更新与删除的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 使用MessageFormat格式化数字
- 下一篇: Hibernate配置属性详解