對Oracle數據庫進行容災

隨著全球信息化時代的到來信息數據越來越成為企業關注的焦點即在各種自然災害或者人為破壞的情況下如何保證生產數據的安全和關鍵業務的不中斷運行傳統的保護方法離線備份備份介質異地保存在一定程度上可以解決上述問題但為了能夠對業務系統提供更高的實時性和可靠性保證關鍵業務x不中斷應對激烈的市場競爭和提高客戶滿意度企業必須在IT系統圍繞連續(BC)主題進行構建實施業務連續/容災備份計劃包括業務連續性高可用性管理容災數據復制和恢復方案安全等下面就對數據復制技術做一個簡單的介紹

　　根據數據復制運行的位置可以將數據復制方式分為以下四種

　　基於存儲(StorageBased)代表廠商有EMC SRDFIBM PPRC/GDPS HP BusinessCopyHDS TrueCopy等特點對主機透明對應用系統的影響較小技術成熟有較多的成功案例但是投資較大對網絡連接的要求也較高

　　基於服務器(Hostbased)代表廠商主要是Symantec公司的Veritas Volume Replicator (VVR)是存儲卷的復制技術需要占用主機一定的系統資源

　　基於存儲交換機(SANBased)運行於掛接在存儲網絡上的專用設備中代表廠商有CISCO的SANTapFalconStor IPStorTopio SANsafeDataCore SANsymphony Asynchronous Internet Mirroring (AIM)等

　　基於數據庫/軟件應用 :代表廠商有Oracle DataGuardQuest SharePlexIBMDB的遠程Q復制SYBASE的復制服務器(Replication Server) 等這些技術都是對數據邏輯操作的復制屬於邏輯數據復制而其它種復制的是數據卷中的數據變化屬於物理數據復制典型的邏輯數據復制是通過數據庫日志實現的優點是硬件投資小對生產系統的影響比較小對主備用系統的硬件平台沒有選擇性;可以在廣域網范圍內使用但它對數據庫系統有嚴格的要求並且主備用系統必須使用相同的數據庫版本

　　上面介紹的主要的各廠商方案和產品可以參見下圖

　　

　　本文主要介紹基於主機和邏輯卷的數據復制VVR

　　VERITAS的VVR(Veritas Volume Replicator)是用於有效的災難恢復的數據復制軟件可以連續對應用數據進行一個或者多個的拷貝保護具有的優點主要有高性能距離不限支持異構的存儲和操作系統對數據的連續保護支持同步和異步復制

　　VVR系統架構如下圖

　　

　　VVR具有的系統特性如下

　　() 最高支持個遠程節點可以通過基於IP的LAN或者WAN網絡;

　　() 通過對邏輯卷的同步和異步復制模式保證數據的完整性和一致性;

　　() 確保備用節點和主節點的數據具有相同的寫入順序;

　　() 支持對網絡帶寬的管理和定義支持多鏈路的連接;

　　() 支持對備用節點的脫機操作以便在備用節點進行查詢(例如DSS決策支持系統)或者數據備份;

　　() 易管理同時支持命令行和圖形界面(VEA);

　　() 主備節點之間支持多種異構存儲;

　　() 支持不同操作系統平台之間的復制;(注在本文中因為設計到Oracle數據庫的復制所以主備操作系統必須同一類型比如必須都是Solaris平台版本完全相同的Oracle版本)

　　() 支持主流關系數據庫系統包括OracleDBSybase和Informix數據文件的存放格式包括邏輯卷(裸設備)或者文件系統;

　　() 支持共享的集群環境中的邏輯卷復制比如Oracle RAC (Real Application Clusters) (注本文中采用的是單節點Oracle復制);

　　() 支持Veritas volume set;

　　() 支持PDC (Portable Data Container)環境的數據復制;

　　VVR數據復制系統主要由下面五個組件組成

　　■ Replicated Volume Group (RVG) 復制卷組

　　RVG是位於VxVM 磁盤組(DG)內的一組邏輯卷RVG隸屬於磁盤組的一部分通過定義這些邏輯卷

　　應用對邏輯卷的寫操作都可以保持以主節點上同樣的順序來寫到備用節點上

　　對於多數數據庫系統來說都是由一些特定的進程完成對磁盤的寫操作比如Oracle系統中的LOWR

　　和DBWR進程而這些寫操作總是依照著一定順序從而來保證實例恢復中數據的一致和完整比如

　　數據庫變化通常在寫入日志文件後才會寫入數據文件所以當日志文件和數據文件屬於要復制的不同

　　邏輯卷的時候它們必須被定義到同一組RVG中

　　每組RVG最多可以包括個數據卷

　　下面介紹SRL和RLINK它們也包括在RVG中

　　■ Storage Replicator Log (SRL)

　　SRL用於記錄RVG中數據寫操作的日志並循環被使用每個RVG包括一個SRL數據在寫入RVG中的卷之前首先要寫到主節點的SRL中

　　從VxVM的角度來看SRL是一個單獨的卷因為所有的寫操作首先要寫到SRL中這個卷需要有較好的寫性能所以多數情況下需要對這個卷進行條帶化並且在不同的盤上mirror以保護數據同時數據卷和SRL卷最好分布在不同的物理磁盤上以得到更好的性能

　　不允許人工直接對SRL進行訪問

　　■ Replication Link—RLINK

　　用於連接主RVG和備用RVG之間的一個鏈接一個主的RVG最多可以有個RLINK可以定義RLINK

　　的多個屬性來調整數據復制的參數比如指定復制的網絡

　　■ Data Change Map (DCM)

　　■ Replicated Data Set (RDS)

　　一個RDS包括了所有的主節點和備用節點的復制卷組(RVG)RDS不是一個具體存在的對象而是一個VVR復制技術中的一個概念

　　在異步模式下VVR的數據復制和數據流向

　　

　　在同步模式下VVR的數據復制和數據流向

　　

　　另外VVR是Veritas Volume Manager (VxVM)的一個單獨的option需要單獨的license

　　Veritas Volume Replicator 的安裝

　　主備節點硬件和軟件配置和版本如下

　　主節點 機器名lxsfrac

　　Sun Microsystems Sun Fire X Server

　　操作系統 solarisu x_

　　VVR版本: Veritas Volume Replicator GA

　　Oracle 版本 Oracle gR Enterprise Edition

　　磁盤陣列SAN/ HDS AMS

　　Public網卡eg 私有(復制)網卡eg

　　備用節點機器名lxsfrac

　　軟硬件環境與主節點相同

　　兩個節點分別安裝VVR和vxfs安裝方法相同以lxsfrac為例

　　放入安裝介質一般Solaris都由vold進程自動mount CD

　　如果需要手工

　　
mountmount –F hsfs –o ro /dev/dsk/ctds /cdrom
　　root@lxsfrac # cd /volume_replicator/
　　root@lxsfrac # ls
　　copyright docs installvvr pkgs release_notes scripts tools uninstallvvr
　　root@lxsfrac # ls l
　　total 
　　rwrr  root root  Dec   copyright
　　drwxrwxrx  root root  Jun  : docs
　　rwxrxrx  root root  Apr   installvvr
　　drwxrwxrx  root root  Jun  : pkgs
　　drwxrwxrx  root root  Jun  : release_notes
　　drwxrwxrx  root root  Jun  : scripts
　　drwxrwxrx  root root  Jun  : tools
　　rwxrxrx  root root  Apr   uninstallvvr
　　root@lxsfrac # /installvvr lxsfrac
　　Veritas Volume Replicator  Installation Program
　　Copyright (c)  Symantec Corporation All rights reserved Symantec the Symantec Logo are trademarks or registered trademarks of Symantec Corporation or its affiliates in the US and other countries Other names may be trademarks of their respective owners
　　The Licensed Software and Documentation are deemed to be commercial computer software and commercial computer software documentation as defined in FAR Sections  and DFARS Section 
　　Logs for installvvr are being created in /var/tmp/installvvrmrkY
　　Initial system check:
　　Checking VVR installation on lxsfrac  not installed
　　Checking architecture on lxsfrac  i
　　Veritas Volume Replicator  Installation Program
　　Checking system licensing
　　Installing licensing packages
　　VVR is not licensed on lxsfrac
　　Enter a VVR license key for lxsfrac: ******************
　　****************** successfully registered on lxsfrac
　　Permanent VVR license registered on lxsfrac
　　Do you want to enter another license key for lxsfrac? [ynq] (n)
　　Veritas Volume Replicator  Installation Program
　　Checking installed packages on lxsfrac
　　Veritas Volume Replicator  Installation Program
　　VVR can be installed without optional packages to conserve disk space
　　Additional packages are typically installed to simplify future upgrades
　　) Required Veritas Volume Replicator packages   MB required
　　) All Veritas Volume Replicator packages   MB required
　　) Storage Foundation Enterprise packages   MB required
　　Select the packages to be installed on all systems? [q?] () 
　　Veritas Volume Replicator  Installation Program
　　The following VVR packages will be installed:
　　VRTSperl Veritas Perl  Redistribution
　　VRTSvlic Veritas Licensing
　　VRTSicsco Symantec Common Infrastructure
　　VRTSpbx Symantec Private Branch Exchange
　　VRTSsmf Symantec Service Management Framework
　　VRTSat Symantec Product Authentication Service
　　VRTSobc Veritas Enterprise Administrator Core Service
　　VRTSob Veritas Enterprise Administrator Service
　　VRTSobgui Veritas Enterprise Administrator
　　VRTSccg Veritas Enterprise Administrator Central Control Grid
　　VRTSmh Veritas Storage Foundation Managed Host by Symantec
　　VRTSaa Veritas Enterprise Administrator Action Agent
　　VRTSspt Veritas Software Support Tools
　　SYMClma Symantec License Inventory Agent
　　VRTSvxvm Veritas Volume Manager Binaries
　　VRTSdsa Veritas Datacenter Storage Agent
　　VRTSfspro Veritas File System Management Services Provider
　　VRTSvmman Veritas Volume Manager Manual Pages
　　VRTSvmdoc Veritas Volume Manager Documentation
　　Press [Return] to continue:
　　ntinued:
　　VRTSdcli Veritas Distributed Command Line Interface
　　VRTSalloc Veritas Volume Manager Intelligent Storage Provisioning
　　VRTSvmpro Veritas Volume Manager Management Services Provider
　　VRTSddlpr Veritas Device Discovery Layer Services Provider
　　VRTSvrpro Veritas Volume Replicator Client Extension and Provider for
　　Veritas Enterprise Administrator
　　VRTSvcsvr Veritas Cluster Server Agents for VVR
　　VRTSjre Veritas Java Runtime Environment Redistribution
　　VRTSjre Veritas Java Runtime Environment Redistribution
　　VRTSweb Veritas Java Web Server
　　VRTSvrw Veritas Volume Replicator Web Console
　　VRTSvrdoc Veritas Volume Replicator Documentation
　　Press [Return] to continue:
　　Checking for any AP driver issues on lxsfrac  None
　　A copy of a previous VxVM configuration is present on the system lxsfrac
　　Do you want to restore and reuse the previous VxVM configuration of system lxsfrac [ynq?] (y) n
　　Veritas Volume Replicator  Installation Program
　　Installing VVR: % ■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■
　　Installation completed successfully on all systems
　　It is optional to configure VVR now If you choose to configure VVR later you can either do so manually or run the installvvr configure command The product installation scripts can be found in /opt/VRTS/install directory
　　Are you ready to configure VVR? [ynq] (y)
　　The enclosurebased naming scheme is a feature of Veritas Volume Manager It allows one to reference disks using a symbolic name that is more meaningful than the operating systems normal device access name This symbolic name is typically derived from the array name
　　Do you want to set up the enclosurebased naming scheme? [ynq?] (n) y
　　Veritas Volume Replicator  Installation Program
　　Veritas Volume Manager default disk group name configuration:
　　Many Veritas Volume Manager commands affect the contents or configuration of a disk group Such commands require that the user specify a disk group This is accomplished by using the g option of a command or setting the VXVM_DEFAULTDG environment variable An alternative to these two methods for some commands is to configure the name of the default disk group of a system
　　Note: The default disk group feature is not available with the DCLI vxadm(M) and vxquery(M) commands When using these commands a required disk group must be explicitly identified using the g option
　　Do you want to set up a default disk group for each system? [ynq?] (y) n
　　Veritas Volume Replicator  Installation Program
　　Following are the default ports that will be used by VVR on lxsfrac :
　　Port for VVR heartbeat communication: 
　　Port for vradmind daemon: 
　　Port for vxrsyncd daemon: 
　　Ports for data replication: AnonymousPorts
　　The ports indicated for VVR heartbeats and vradmind are IANA assigned
　　The port settings should be identical for systems that will be part of the same Replicated Data Set They should also be identical for all the systems in a cluster
　　Do you want to change any of the VVR ports on lxsfrac? [ynq] (n)
　　Veritas Volume Replicator  Installation Program
　　VVR Statistics Collection Tool
　　The VVR administrative daemon vradmind can collect and maintain various
　　statistics which are helpful in solving VVR performance issues This
　　collection can be tuned using a few tunables like the frequency for
　　gathering the statistics and the number of days for which the collected
　　statistics should be preserved after which the earlier statistics are
　　automatically deleted
　　The frequency of VVR statistics collection on lxsfrac is set to per  seconds
　　Do you want to change the frequency of VVR statistics collection on lxsfrac ? [ynq] (n)
　　The maximum number of days for which VVR statistics can be retained is set to  on lxsfrac
　　Do you want to change the maximum number of days for retaining VVR statistics on lxsfrac ? [ynq] (n)
　　Veritas Volume Replicator  Installation Program
　　Configuration of VVR tunables (For the advanced user)
　　Do you want to view or modify VVR tunables on lxsfrac ? [ynq?] (n)
　　Veritas Volume Replicator  Installation Program
　　Verify the install systems Fully Qualified Hostnames
　　Querying fully qualified domain name of host lxsfrac  fail
　　Press [Return] to continue:
　　Unable to find FQHN for lxsfrac!
　　Enter the fully qualified hostname of lxsfrac or QUIT to quit install
　　Enter the fully qualified host name: lxsfrac
　　Veritas Volume Replicator  Installation Program
　　Choose how this install will be managed
　　This product can configured one of the two following ways:
　　* Storage Foundation Management Server managed host (Recommended)
　　* Standalone host
　　Prerequisites for Storage Foundation Management Server managed host:
　　* A Storage Foundation Management Server (SFMS) is configured
　　* SFMS should be currently running and fully operational
　　* Authentication Broker that is used by SFMS should be running
　　The following information would be requested during configuration:
　　* The host name of the SFMS
　　* Previously set SFMS agent account password
　　There are no prerequisites for deploying as a standalone host
　　Enabling Storage Foundation Management Server management simplifies and improves management of the complex data center
　　resources reducing planned and unplanned down time
　　Enable Storage Foundation Management Server Management? [ynq] (y) n
　　Veritas Volume Replicator  Installation Program
　　Verify the install systems Fully Qualified Hostnames
　　Configuring VEA in STANDALONE mode on lxsfrac  ok
　　Configuring gridnode on lxsfrac  ok
　　Registering gridnode on lxsfrac  ok
　　Configuring actionagent on lxsfrac  ok
　　Registering actionagent on lxsfrac  ok
　　Registering StorageAgent on lxsfrac  ok
　　Do you want to start Veritas Volume Replicator processes now? [ynq] (y)
　　Veritas Volume Replicator  Installation Program
　　Starting VVR: % ■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■
　　Startup completed successfully on all systems
　　You declined to set up the name of the default disk group for lxsfrac
　　Installation log files summary file and response file are saved at:
　　/opt/VRTS/install/logs/installvvrmrkY
　　To enable Dynamic MultiPathing (DMP) MPxIO must be disabled Refer to the Storage Foundation Release Notes for further details on disabling MPxIO
　　檢查vradmin deamon
　　root@lxsfrac # ps ef|grep vrad|grep v grep
　　root    :: ? : /usr/sbin/vradmind
　　安裝Veritas File System安裝過程略
　　root@lxsfrac # cd file_system/
　　root@lxsfrac # ls l
　　total 
　　rwrr  root root  Dec   copyright
　　drwxrwxrx  root root  Jun  : docs
　　rwxrxrx  root root  Apr   installfs
　　drwxrwxrx  root root  Jun  : pkgs
　　drwxrwxrx  root root  Jun  : release_notes
　　drwxrwxrx  root root  Jun  : scripts
　　rwxrxrx  root root  Apr   uninstallfs
　　root@lxsfrac # /installfs lxsfrac

　　Veritas Volume Replicator VVR的配置

　　 兩個節點上都需要做

　　修改兩個節點的/etc/hosts

　　 lxsfrac

　　 lxsfrac

　　 lxsfracpriv

　　 lxsfracpriv

　　分別創建私有網絡(專有)建議數據復制使用專用網絡

　　root@lxsfrac # ifconfig eg plumb netmask up

　　root@lxsfrac # ifconfig eg plumb netmask up

　　root@lxsfrac # ping

　　 is alive

　　創建相同名稱的磁盤組(含有最少兩個磁盤)相同名稱數據卷oravol創建復制日志卷(SRL)

　　分別在本地安裝Oracle gR(安裝Oracle過程略)

　　root@lxsfrac # vxdg init oradg AMS_WMS_ AMS_WMS_

　　root@lxsfrac # vxassist g oradg make oravol g

　　root@lxsfrac # vxedit g oradg set user=oracle group=dba mode= oravol

　　root@lxsfrac # vxassist g oradg make srl m

　　在備用節點上修改配置文件/etc/vx/vras/rdg讓其包含主節點上的disk group ID

　　(這裡是lxsfrac)當創建備用RVG時這個文件用來對主節點的授權

　　可以通過vxprint –l來得到disk group ID

　　root@lxsfrac # vi /etc/vx/vras/rdg

　　………

　　lxsfrac

　　/etc/vx/vras/rdg lines characters

　　在主節點上

　　創建vxfs文件系統

　　mount F vxfs o largefiles /dev/vx/dsk/oradg/oravol /oracle

　　chown oracle:dba /oracle

　　切換到oracle用戶使用dbca建庫並且所有數據文件選擇/oracle目錄

　　創建Primary RVG

　　root@lxsfrac # vradmin g oradg createpri ora_rvg oravol srl

　　其中的oravol是要復制的數據卷列表當多於一個時用逗號隔開

　　創建Secondary RVG

　　root@lxsfrac # vradmin g oradg addsec ora_rvg lxsfracpriv lxsfracpriv

　　設置復制方式為異步

　　root@lxsfrac # vradmin g oradg set ora_rvg lxsfracpriv synchronous=off

　　開始復制　

　　
root@lxsfrac # vradmin g oradg a startrep ora_rvg
　　Message from Primary:
　　VxVM VVR vxrlink WARNING V Attaching rlink to nonempty rvg Autosync will be performed
　　VxVM VVR vxrlink INFO V Secondary data volumes detected with rvg ora_rvg as parent:
　　VxVM VVR vxrlink INFO V oravol: len= primary_datavol=oravol
　　VxVM VVR vxrlink INFO V Autosync operation has started
　　root@lxsfrac #
　　root@lxsfrac # vradmin g oradg f startrep ora_rvg
　　VxVM VVR vradmin INFO V Replication to Secondary host lxsfracpriv already started

　　檢查相關信息和狀態顯示數據復制過程可以通過使用i參數指定interval

　　
　root@lxsfrac # vxrvg g oradg getrlinks ora_rvg
　　rlk_lxsfracpriv_ora_rvg
　　root@lxsfrac # vxrlink g oradg status rlk_lxsfracpriv_ora_rvg
　　Fri Nov  :: 
　　VxVM VVR vxrlink INFO V Rlink rlk_lxsfracpriv_ora_rvg is in AUTOSYNC  Kbytes remaining
　　root@lxsfrac # vxrlink g oradg status rlk_lxsfracpriv_ora_rvg
　　Fri Nov  :: 
　　VxVM VVR vxrlink INFO V Rlink rlk_lxsfracpriv_ora_rvg is in AUTOSYNC  Kbytes remaining
　　root@lxsfrac # vxrlink g oradg status rlk_lxsfracpriv_ora_rvg
　　Fri Nov  :: 
　　VxVM VVR vxrlink INFO V Rlink rlk_lxsfracpriv_ora_rvg is in AUTOSYNC  Kbytes remaining
　　root@lxsfrac # vxrlink g oradg status rlk_lxsfracpriv_ora_rvg
　　Fri Nov  :: 
　　VxVM VVR vxrlink INFO V Rlink rlk_lxsfracpriv_ora_rvg is up to date

　　可以手工進行gracefully切換 

　　
root@lxsfrac # umount /oracle
　　root@lxsfrac # vradmin g oradg migrate ora_rvg lxsfracpriv
　　VxVM VVR vradmin WARNING V Make sure applications using Primary data volumes are stopped
　　vradmin: Continue with migrate (y/n)? y
　　root@lxsfrac #

　　下面我們就在上面搭建好的VVR環境中對容災數據進行切換測試

　　注在下面測試中主節點為lxsfrac備用節點為lxsfrac　

　　
　====================================== 顯示主備節點狀態 =================================
　　root@lxsfrac # vradmin g oradg l repstatus ora_rvg
　　Replicated Data Set: ora_rvg
　　Primary:
　　Host name: lxsfracpriv
　　RVG name: ora_rvg
　　DG name: oradg
　　RVG state: enabled for I/O
　　Data volumes: 
　　VSets: 
　　SRL name: srl
　　SRL size:  M
　　Total secondaries: 
　　Secondary:
　　Host name: lxsfracpriv
　　RVG name: ora_rvg
　　DG name: oradg
　　Rlink from Primary: rlk_lxsfracpriv_ora_rvg
　　Rlink to Primary: rlk_lxsfracpriv_ora_rvg
　　Configured mode: asynchronous
　　Latency protection: off
　　SRL protection: autodcm
　　Data status: inconsistent
　　Replication status: resync in progress (autosync)
　　Current mode: asynchronous
　　Logging to: DCM (contains  Kbytes) (autosync)
　　Timestamp Information: N/A
　　Bandwidth Limit: N/A
　　==================================== 顯示replication link狀態 =================================
　　root@lxsfrac # vxrlink g oradg status rlk_lxsfracpriv_ora_rvg
　　Mon Nov  :: 
　　VxVM VVR vxrlink INFO V Rlink rlk_lxsfracpriv_ora_rvg is up to date
　　==================================== 在主節點插入試驗數據 : ================================
　　oracle@lxsfrac $ sysdba
　　SQL*Plus: Release   Production on Mon Nov  :: 
　　Copyright (c)   Oracle All rights reserved
　　Connected to:
　　Oracle Database g Enterprise Edition Release   Production
　　With the Partitioning OLAP and Data Mining options
　　SQL> create table test (a varchar() ) tablespace users ;
　　Table created
　　SQL> insert into test values () ;
　　 row created
　　SQL> commit ;
　　Commit complete
　　SQL> insert into test values ( ) ;
　　 row created
　　SQL>
　　SQL>
　　SQL> commit ;
　　Commit complete
　　====================================== 立即異常關閉oracle 和 操作系統 ============================
　　root@lxsfrac # ps ef|egrep ora_|asm_|grep v grep |grep v crs|awk {print $} |xargs kill 
　　root@lxsfrac #
　　root@lxsfrac # ps ef|grep ora
　　root    :: ? : /opt/VRTSobc/pal/bin/vxpal a StorageAgent x
　　oracle    :: ? : oracleracg (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))
　　oracle    :: pts/ : bash
　　oracle    :: pts/ : sqlplus /as sysdba
　　root    :: pts/ : grep ora
　　root@lxsfrac #
　　root@lxsfrac # poweroff
　　從系統日志/var/tmp/messages可以查看到相關信息
　　Nov  :: lxsfrac poweroff: [ID  authcrit] poweroffed by root
　　======================================= 在備用節點進行接管 =======================================
　　root@lxsfrac # vradmin g oradg migrate ora_rvg lxsfracpriv
　　VxVM VVR vradmin WARNING V Make sure applications using Primary data volumes are stopped
　　vradmin: Continue with migrate (y/n)? y
　　Message from Host lxsfracpriv:
　　VxVM VVR vradmin ERROR V Secondary ora_rvg does not have an active Primary
　　root@lxsfrac #
　　root@lxsfrac # vradmin g oradg takeover ora_rvg
　　root@lxsfrac # date
　　Mon Nov  :: CST 
　　root@lxsfrac # vxprint htqg oradg
　　dg oradg default default  lxsfrac
　　dm AMS_WMS_ AMS_WMS_ auto   
　　dm AMS_WMS_ AMS_WMS_ auto   
　　rv ora_rvg  ENABLED ACTIVE primary  srl
　　rl rlk_lxsfracpriv_ora_rvg ora_rvg ENABLED ACTIVE lxsfracpriv oradg rlk_lxsfracpriv_ora_rvg
　　v oravol ora_rvg ENABLED ACTIVE  SELECT  fsgen
　　pl oravol oravol ENABLED ACTIVE  CONCAT  RW
　　sd AMS_WMS_ oravol AMS_WMS_    AMS_WMS_ ENA
　　pl oravol oravol ENABLED ACTIVE LOGONLY CONCAT  RW
　　sd AMS_WMS_ oravol AMS_WMS_   LOG AMS_WMS_ ENA
　　pl oravol oravol ENABLED ACTIVE LOGONLY CONCAT  RW
　　sd AMS_WMS_ oravol AMS_WMS_   LOG AMS_WMS_ ENA
　　v srl ora_rvg ENABLED ACTIVE  SELECT  SRL
　　pl srl srl ENABLED ACTIVE  CONCAT  RW
　　sd AMS_WMS_ srl AMS_WMS_    AMS_WMS_ ENA
　　root@lxsfrac #
　　================================ 啟動備用節點Oracle數據庫並檢查數據完整 ========================
　　root@lxsfrac # mount F vxfs /dev/vx/dsk/oradg/oravol /oracle
　　root@lxsfrac #
　　root@lxsfrac # su  oracle
　　Sun Microsystems Inc SunOS  Generic January 
　　oracle@lxsfrac $ sysdba
　　SQL*Plus: Release   Production on Mon Nov  :: 
　　Copyright (c)   Oracle All rights reserved
　　Connected to an idle instance
　　SQL> startup
　　ORACLE instance started
　　Total System Global Area  bytes
　　Fixed Size  bytes
　　Variable Size  bytes
　　Database Buffers  bytes
　　Redo Buffers  bytes
　　Database mounted
　　Database opened
　　SQL> select * from test ;
　　A
　　
　　
　　

　　================================ 顯示數據正常 ===========================

　　在第二個節點vxdg import oradg

　　然後recover

　　直到兩個節點vxprint htqg oradg都正常ENABLED/ACTIVE

　　錯誤V我遇到了兩次一次是在createpri一次在addsec原因是主備的DCM默認都需要mirror所以所在的磁盤組都最少包括兩塊磁盤(或LUN)通過vxdg g oradg adddisk another_disk解決　

　　 root@lxsfrac # vradmin g oradg createpri ora_rvg \ > systemsysauxtempusersexamplectlfilectlfilectlfileredoredoredoundospfile \
> srl
　　Message from Primary:
　　VxVM vxassist ERROR V Cannot allocate space for  block log
　　root@lxsfrac # vradmin g oradg addsec ora_rvg lxsfracpriv lxsfracpriv
　　Message from Host lxsfracpriv:
　　VxVM vxassist ERROR V Cannot allocate space for  block log

　　檢查vvr後台進程　　

　　
root@lxsfrac # ps ef|grep vrad|grep v grep
　　root    :: ? : /usr/sbin/vradmind

　　如果進程狀態不對使用下面語句來手工啟動

　　
　/etc/initd/vrasvradmindsh start

　　可以看到vradmin是隨系統自啟動的　

　　
　root@lxsfrac # find /etc/rc* name *vr* print
　　/etc/rcd/Kvrasvradmind
　　/etc/rcd/Kvrasvradmind
　　/etc/rcd/Svradmind
　　/etc/rcSd/Kvrasvradmind

From:http://tw.wingwit.com/Article/program/Oracle/201311/17441.html