熱點推薦:
您现在的位置: 電腦知識網 >> 操作系統 >> Windows系統管理 >> 正文

數據倉庫建模技術(2)

2013-11-11 21:40:04  來源: Windows系統管理 

  三概念模型
  數據模型設計的第一步是對用戶需求的歸納需要綜合考慮業務劃分和用戶組織兩方面的問題在明確需求的基礎上可以進行邏輯數據模型的設計大致需要經過分為三個步驟高層模型設計即概念模型設計確定數據倉庫的主要主題及相互關系中層模型設計明確各主題域的實體底層模型設計明確各個實體的屬性本章以國內某財產保險公司的業務為例介紹財產保險行業的數據倉庫建模
   財產保險業務與公司組織機構
  下圖是國內財產保險公司的主要組織機構
   
  國內財產保險經營的主要保險業務如下
  &#; 機動車輛保險
  &#; 家庭財產保險
  &#; 企業財產保險
  &#; 建築安裝工程保險
  &#; 貨物運輸保險
  &#; 船舶保險
  &#; 航空航天保險
  &#; 其它保險
   數據倉庫概念模型
  目前保費收入還是國內財產保險企業的主要利潤來源在激烈的市場競爭中客戶是競爭的焦點在數據倉庫中客戶信息占有極為重要的地位圍繞著客戶資料信息客戶的投保記錄索賠記錄都具有極高的分析價值另外合作伙伴對保險業務的開拓也具有重要地位如保險代理人經紀人等中介公司的相關信息
   基礎數據倉庫
  基礎數據倉庫用以存儲詳細的業務數據采取以客戶信息為中心各個業務環節數據為基礎的中心發散型結構系統面向經營分析以經營業務數據為主如下圖所示
   
   基礎數據倉庫概念模型介紹
  —— 客戶資料
  負責存儲用戶的詳細資料主要的客戶屬性包括客戶ID用戶第一次投保時間資料更新時間業務類型用戶特征屬性用戶類型繳費情況投保情況信用情況保費收入水平等等客戶資料主題的數據主要針對企業用戶和大客戶在可能的情況下盡量體現客戶間的關系比如某一家庭財險用戶隸屬於某一企業客戶客戶資料數據體現最新的客戶狀態客戶資料永久在線保存當客戶資料發生變化時舊的客戶信息被轉移到客戶歷史資料庫中在每一個客戶的生命周期中客戶資料隨時可能發生變化客戶歷史資料數據詳盡的記錄每一次變化的細節為以後客戶信用評估和用戶行為分析需求提供依據客戶歷史資料永久在線保存
  —— 客戶投保記錄
  以詳細的保單數據為主體現在某一時間段內客戶的投保情況由於數據量比較龐大客戶投保記錄一般在數據倉庫中在線保存兩年最長不超過五年投保記錄是業務分析最重要的數據基礎必要的時候投保記錄可以為很多業務提供數據支持比如大客戶管理等
  —— 客戶繳費記錄
  記錄用戶投保後保費的繳納情況從中可以了解保險公司與每一個客戶在不同業務的應收情況是對業務發展的重要衡量依據也是對客戶群進行細分的重要指標不同保險企業對繳費記錄在線保存的時限要求不同一般在一年以上五年以下
  —— 客戶索賠記錄
  客戶索賠記錄是過去客戶每次索賠的詳細記錄比如索賠金額時間保單號立案號險種索賠清單索賠單證事故描述等索賠記錄是客戶行為模式的重要組成也是反欺詐分析客戶流失分析的重要依據
  —— 客戶賠付記錄
  記錄保險公司對每一個客戶的每一筆賠付主要的信息包括賠付時間立案號賠案號單證賠付計算情況損失原因賠付金額是否通融賠付通融賠付的原因和通融賠付金額等與索賠記錄相結合可以了解保險公司對客戶索賠的反應時間和處理速度
  —— 客戶退保/退費記錄
  了解用戶退保和退費的情況每一筆退保/退費的原因時間保單號金額等等
  —— 中介信息
  描述中介公司的類型比如經紀人兼職代理人或專業代理人各中介公司的業務量保險公司之處的中介費用等等
   基礎數據倉庫概念模型的實現
  概念模型的意義在於體現用戶的需求和基本的數據組織結構在實際的設計過程中可能需要根據實際的業務情況進行模型的拆分比如客戶資料模型針對不同客戶的情況拆分成企業客戶個人客戶集團個人客戶投保記錄模型根據不同的業務拆分成車險投保記錄財產險投保記錄運輸險投保記錄船舶險投保記錄等
   
  根據不同業務情況設計業務主題
   數據集市
  詳細業務數據是數據倉庫的基礎但對於金融企業來說對業務發展宏觀情況的把握是比詳細的客戶分析更為迫切的需求所以在初期任何金融行業數據倉庫的應用都以對聚合數據的分析為主聚合數據存儲在數據集市中數據集市的數據直接通過查詢工具提供給最終用戶所以數據集市的設計直接關系到數據倉庫應用的成敗現階段我國大多數金融數據倉庫系統正處於初始階段其主要功能需求是了解各省分公司子公司和各項業務的發展和運營情況因此數據集市的設計是數據模型設計最重要的環節數據集市的數據結構可以按照數據粒度和數據所體現的業務范圍劃分
   按照數據粒度劃分
  數據集市按照數據粒度的大小可以劃分為三個部分輕度匯總中度匯總高度匯總匯總程度越高數據粒度越大數據在線保留時間越長所體現的業務事實越宏觀如下圖所示
   
  按照數據粒度劃分的數據集市結構
  輕度匯總數據可以支持很多對客戶個體的業務分析比如從基礎數據倉庫投保記錄匯總生成每個用戶一段時間的投保情況中度匯總數據在業務分析中經常被用到大多數情況用於對宏觀客戶群體的業務分析比如制定保費政策時可以通過中度匯總數據了解不同險種不同時間的發展和收益情況高度匯總數據用於了解保險公司業務整體的運營和發展情況在實際的設計中可以根據用戶需求決定針對不同的業務采用不同的數據粒度
   按照業務劃分
  按照業務進行數據集市結構的劃分可以把數據集市從總體上分為兩個模塊綜合業務分析模塊和獨立業務分析模塊如下圖
   
  按照業務劃分的數據集市結構
  —— 綜合業務分析
  綜合業務分析主要面向保險公司整體業務的分析從綜合業務分析可以了解保險公司的用戶構成情況中介發展情況業務收入情況賠付情況共保/分保客戶服務保費收入情況和競爭對手發展情況從綜合業務模塊可以了解各個業務的總體發展情況但由於各個業務屬性的差異詳細的業務分析必須進入獨立業務分析模塊
  —— 獨立業務分析
  財產保險各業務各險種的業務特點具有極大差異對不同險種業務人員所關心的信息也不盡相同所以各個業務在獨立業務分析模塊構成不同的分析主題除此之外對有共性的業務進行綜合構成綜合的業務分析主題比如個人大客戶分析企業客戶業務分析就是把相關的業務主題進行綜合的結果
  四發展與擴充
  數據倉庫數據模型的設計在滿足目前業務需求的基礎上必須考慮未來的業務情況和需求需要認真考慮兩方面的問題
  &#; 適應未來業務需求和技術環境的改變
  &#; 數據倉庫本身涉及業務范圍的擴展
   適應未來的變化
  分段式數據倉庫結構可以大大提升數據倉庫適應變化的能力在未來可能對數據倉庫產生影響的變化無外乎兩種
  &#; 業務需求的變化引致對信息需求的變化
  &#; 技術環境的變化
   適應業務需求的變化
  用戶需求的變化根據變化的程度和對數據倉庫系統的影響被分為兩個不同的層次
  —— 可自適應的變化
  即信息的需求雖然有所變化但利用已經存儲在數據集市中的數據仍然可以支持需要改變的只是數據訪問和信息展現的方式這不需要對數據倉庫的數據結構進行修改就可以實現在進行數據模型設計時在保證查詢效率的前提下要盡量使各個業務主題可以滿足最多的信息需求
  —— 需要調整的變化
  即數據集市的數據雖然無法滿足信息的需求但可以從基礎數據倉庫中的數據獲得針對這樣的變化有兩種處理方法
  &#; 如果這個變化只是偶爾出現可以直接從基礎數據倉庫的數據中進行數據的查詢和分析這樣可能會犧牲一些性能但不需對數據倉庫的結構和數據模型進行修改
  &#; 另一種方法是針對以後將頻繁使用的新業務需求可以采取修改現行數據集市和建立新的數據集市的方法實現由於數據集市只是對基礎數據倉庫中相關的詳細數據進行聚合所以只需要很小的工作量就可以調整數據倉庫實現新的需求
   適應技術環境的變化
  技術環境的變化也是比較普遍出現的變化比如業務系統的升級或遷移可能對數據倉庫的結構造成較大影響分段存儲區和基礎數據倉庫的使用把這種風險降到最小
  分段存儲區是業務數據進入數據倉庫之前的緩存區復雜的數據轉換清洗工作在分段存儲區進入基礎數據倉庫時實現當業務系統的數據結構發生變化時可以利用從業務系統到分段存儲區的數據抽取操作把這些變化與數據清洗轉換操作隔離即在對新的業務系統進行數據抽取操作時進行適當的數據結構轉換使分段存儲區中的數據與原來保持一致避免對數據倉庫的數據結構和主要的後台處理程序造成影響從業務系統到分段存儲區的數據抽取程序只需十分簡單的修改就可以實現需要的功能
   元數據管理的意義
  元數據管理系統可以大大提高數據倉庫系統適應變化的能力元數據記錄數據倉庫過程中設計的業務規則數據結構數據移動規則等一旦上述某一點發生變化可以通過元數據管理工具進行影響分析定位需要修改的目
From:http://tw.wingwit.com/Article/os/xtgl/201311/8925.html
    Copyright © 2005-2013 電腦知識網 Computer Knowledge   All rights reserved.