ETL是數據抽取(Extract)轉換(Transform)加載(Load )的簡寫它是指將OLTP系統中的數據抽取出來並將不同數據源的數據進行轉換和整合得出一致性的數據然後加載到數據倉庫中例如下圖就向我們展示了ETL的數據轉換效果(圖七picbmp)
那麼在這一轉換過程中我們就完成了對數據格式的更正對數據字段的合並以及新增指標的計算三項操作類似地我們也可以根據其他需求完善數據倉庫中的數據
簡而言之通過ETL我們可以基於源系統中的數據來生成數據倉庫ETL為我們搭建了OLTP系統和OLAP系統之間的橋梁
四項目實踐技巧
(一)准備區的運用
在構建數據倉庫時如果數據源位於一台服務器上數據倉庫在另一台服務器端考慮到數據源Server端訪問頻繁並且數據量大需要不斷更新所以可以建立准備區數據庫(圖八picbmp)先將數據抽取到准備區中然後基於准備區中的數據進行處理這樣處理的好處是防止了在原OLTP系統中頻繁訪問進行數據運算或排序等操作
例如我們可以按照天將數據抽取到准備區中基於數據准備區我們將進行數據的轉換整合將不同數據源的數據進行一致性處理數據准備區中將存在原始抽取表轉換中間表和臨時表以及ETL日志表等
(二)時間戳的運用
時間維度對於某一事實主題來說十分重要因為不同的時間有不同的統計數據信息那麼按照時間記錄的信息將發揮很重要的作用在ETL中時間戳有其特殊的作用在上面提到的緩慢變化維度中我們可以使用時間戳標識維度成員;在記錄數據庫和數據倉庫的操作時我們也將使用時間戳標識信息例如在進行數據抽取時我們將按照時間戳對OLTP系統中的數據進行抽取比如在午夜取前一天的數據我們將按照OLTP系統中的時間戳取GETDATE到GETDATE減一天這樣得到前一天數據
[] [] [] [] [] []
From:http://tw.wingwit.com/Article/program/SQL/201311/16278.html
