最近做了個項目實現對存在千萬條記錄的庫表進行插入查詢操作原以為對數據庫的插入查詢是件很容易的事可不知當數據達到百萬甚至千萬條級別的時候這一切似乎變得相當困難幾經折騰總算完成了任務
避免使用Hibernate框架
Hibernate用起來雖然方便但對於海量數據的操作顯得力不從心
關於插入
試過用Hibernate一次性進行萬條左右數據的插入若ID使用sequence方式生成Hibernate將分萬次從數據庫取得萬個sequence構造成相應對象後再分五萬次將數據保存到數據庫花了我十分鐘時間主要的時間不是花在插入上而是花在萬次從數據庫取sequence上弄得我相當郁悶雖然後來把ID生成方式改成increase解決了問題但還是對那十分鐘的等待心有余悸
關於查詢
Hibernate對數據庫查詢的主要思想還是面向對象的這將使許多我們不需要查詢的數據占用了大量的系統資源（包括數據庫資源和本地資源）由於對Hibernate的偏愛本著不拋棄不放棄的作風做了包括配SQL改進SQL等等的相當多的嘗試可都以失敗告終不得不忍痛割愛了
寫查詢語句時要把查詢的字段一一列出
查詢時不要使用類似select * from x_table的語句要盡量使用select idname from x_table以避免查詢出不需要的數據浪費資源對於海量數據而言一個字段所占用的資源和查詢時間是相當可觀的
減少不必要的查詢條件
當我們在做查詢時常常是前台提交一個查詢表單到後台後台解析這個表單而後進行查詢操作在我們解析表單時為了方便起見常常喜歡將一些不需要查詢的條件用永真的條件來代替（如select count(id) from x_table where name like %）其實這樣的SQL對資源的浪費是相當可怕的我試過對於同樣的近一千萬條記錄的查詢來說使用select count(id) from x_table 進行表查詢需要秒而使用select count(id) from x_table where name like %卻花了秒
避免在查詢時使用表連接
在做海量數據查詢時應盡量避免表連接（特別是左右連接）萬不得已要進行表連接時被連接的另一張表數據量一定不能太大若連接的另一張表也是數萬條的話那估計可以考慮重新設計庫表了因為那需要等待的時間決不是正常用戶所能忍受的
嵌套查詢時盡可能地在第一次select就把查詢范圍縮到最小
在有多個select嵌套查詢的時候應盡量在最內層就把所要查詢的范圍縮到最小能分頁的先分頁很多時候就是這樣簡單地把分頁放到內層查詢裡對查詢效率來說能形成質的變化
就是這些了希望對遇到類似問題的朋友們能有所幫助！
From:http://tw.wingwit.com/Article/program/Oracle/201311/17394.html
