(三)日志表的運用
在對數據進行處理時難免會發生數據處理錯誤產生出錯信息那麼我們如何獲得出錯信息並及時修正呢? 方法是我們使用一張或多張Log日志表將出錯信息記錄下來在日志表中我們將記錄每次抽取的條數處理成功的條數處理失敗的條數處理失敗的數據處理時間等等這樣當數據發生錯誤時我們很容易發現問題所在然後對出錯的數據進行修正或重新處理
(四)使用調度
在對數據倉庫進行增量更新時必須使用調度(圖九picbmp)即對事實數據表進行增量更新處理在使用調度前要考慮到事實數據量確定需要多長時間更新一次比如希望按天進行查看那麼我們最好按天進行抽取如果數據量不大可以按照月或半年對數據進行更新如果有緩慢變化維度情況調度時需要考慮到維度表更新情況在更新事實數據表之前要先更新維度表
調度是數據倉庫的關鍵環節要考慮缜密在ETL的流程搭建好後要定期對其運行所以調度是執行ETL流程的關鍵步驟每一次調度除了寫入Log日志表的數據處理信息外還要使用發送Email或報警服務等這樣也方便的技術人員對ETL流程的把握增強了安全性和數據處理的准確性
五總結
構建企業級數據倉庫需要簡單的五步掌握了這五步的方法我們可以構建一個強大的數據倉庫然而每一步都有很深的內容需要研究與挖掘尤其在實際項目中我們要綜合考慮例如如果數據源的髒數據很多在搭建數據倉庫之前我們首先要進行數據清洗以剔除掉不需要的信息和髒數據
ETL是OLTP系統和OLAP系統之間的橋梁是數據從源系統流入數據倉庫的通道在數據倉庫的項目實施中它關系到整個項目的數據質量所以馬虎不得必須將其擺到重要位置將數據倉庫這一大廈的根基築牢!
[] [] [] [] [] []
From:http://tw.wingwit.com/Article/program/SQL/201311/16273.html
