Hibernate下數據批量處理解決方案

　　很多人都對Java在批量數據的處理方面是否是其合適的場所持有懷疑的念頭由此延伸那麼就會認為ORM可能也不是特別適合數據的批量處理 其實我想如果我們應用得當的話完全可以消除ORM批量處理性能問題這方面的顧慮下面以Hibernate為例來做為說明假如我們真的不得不在Java中使用Hibernate來對數據進行批量處理的話 向數據庫插入 條數據用Hibernate可能像這樣
　　
　　Session session = sessionFactoryopenSession();
　　Transaction tx = sessionbeginTransaction();
　　for ( int i=; i<100000; i++ ) {
　　Customer customer = new Customer(.....);
　　session.save(customer); }
　　mit();
　　session.close();
　　
　　大概在運行到第50 000條的時候，就會出現內存溢出而失敗。TW.WINGWIT.cOm這是Hibernate把最近插入的Customer都以session-level cache在內存做緩存，我們不要忘記Hiberante並沒有限制first-level cache 的緩存大小：
　　
　　# 持久對象實例被管理在事務結束時，此時Hibernate與數據庫同步任何已經發生變 化的被管理的的對象。
　　
　　# Session實現了異步write-behind，它允許Hibernate顯式地寫操作的批處理。 這裡，我給出Hibernate如何實現批量插入的方法：
　　首先，我們設置一個合理的JDBC批處理大小，hibernate.jdbc.batch_size 20。 然後在一定間隔對Session進行flush()和clear()。
　　
　　Session session = sessionFactory.openSession();
　　Transaction tx = session.beginTransaction();
　　for ( int i=0; i<100000; i++ ) {
　　Customer customer = new Customer(.....);
　　session.save(customer);
　　if ( i % 20 == 0 ) {
　　//flush 插入數據和釋放內存:
　　session.flush(); session.clear(); }
　　}
　　mit();
　　session.close();
　　
　　那麼，關於怎樣刪除和更新數據呢？那好，在Hibernate2.1.6或者更後版本，scroll() 這個方法將是最好的途徑：
　　
　　Session session = sessionFactory.openSession();
　　Transaction tx = session.beginTransaction();
　　ScrollableResults customers = session.getNamedQuery("GetCustomers")
　　.scroll(ScrollMode.FORWARD_ONLY);
　　int count=0;
　　while ( customers.next() ) {
　　Customer customer = (Customer) customers.get(0);
　　customer.updateStuff(...);
　　if ( ++count % 20 == 0 ) {
　　//flush 更新數據和釋放內存:
　　session.flush(); session.clear(); } }
　　mit(); session.close();
　　
　　這種做法並不困難，也不算不優雅。請注意，如果Customer啟用了second-level caching ，我們仍然會有一些內存管理的問題。原因就是對於用戶的每一次插入和更新，Hibernate在事務處理結束後不得不通告second-level cache 。因此，我們在批處理情況下將要禁用用戶使用緩存。
From:http://tw.wingwit.com/Article/program/Java/ky/201311/28117.html