熱點推薦:
您现在的位置: 電腦知識網 >> 電腦常識 >> 正文

分布式文件系統試用比較

2022-06-13   來源: 電腦常識 

  MooseFS 很不錯已經實用了半月了易用穩定對小文件很高效

  MogileFS 據說對於 Web 應用存儲圖片啥的很好

  GlusterFS 感覺廣告宣傳做的比產品本身好

  OpenAFS/Coda 是很有特色的東西

  Lustre 復雜高效適合大型集群

  PVFS 搭配定制應用會很好據說曙光的並行文件系統就是基於 PVFS

  適合做通用文件系統的有 MooseFSGlusterFSLustre

  ================================================================

  dCache

   依賴 PostgreSQL

  xtreemfs

  * 服務端是 Java 實現的

   性能不高

  CloudStore (KosmosFS)

  + 被 Hadoop 作為分布式文件系統後端之一

   不支持文件元信息

   kfs_fuse 太慢不可用

   編譯依賴多文檔落後腳本簡陋

   開發不活躍

  MooseFS

  + 支持文件元信息

  + mfsmount 很好用

  + 編譯依賴少文檔全默認配置很好

  + mfshddcfg 加 * 的條目會被轉移到其它 chunk server以便此 chunk server 安全退出

  + 不要求 chunk server 使用的文件系統格式以及容量一致

  + 開發很活躍

  + 可以以非 root 用戶身份運行

  + 可以在線擴容

  + 支持回收站

  + 支持快照

   master server 存在單點故障

   master server 很耗內存

  MogileFS

   不適合做通用文件系統適合存儲靜態只讀小文件比如圖片

  GlusterFS (特性)

  + 無單點故障問題

  + 支持回收站

  + 模塊化堆疊式架構

   對文件系統格式有要求ext/ext/zfs 被正式支持xfs/jfs 可能可以reiserfs 經測試可以 (系統需求)

   需要以 root 用戶身份運行(用了 trusted xattrmount 時加 user_xattr 選項是沒用的官方說法是glusterfsd 需要創建不同屬主的文件所以必需 root 權限)

   不能在線擴容(不 umount 時增加存儲節點)計劃在 裡實現

   分布存儲以文件為單位條帶化分布存儲不成熟

  GFS

  

  

  

  

  (基於紅帽RHELU GFS+ISCSI+XEN+Cluster 的高可性解決方案)

  (iscsi+clvm+gfs+xen+Cluster)

  linuxchinaunixnet/bbs/threadhtml

  * 並不是 distributed file system 而是 shared disk cluster file system需要某種機制在機器之間共享磁盤以及加鎖機制因此需要 drbd/iscsi/clvm/ddraid/gnbd 做磁盤共享以及 dlm 做鎖管理)

   依賴 Red Hat Cluster Suite (Debian: aptitude install redhatclustersuite 圖形配置工具包systemconfigcluster systemconfiglvm)

   適合不超過約 個節點左右的小型集群規模越大dlm 的開銷越大默認配置 個節點

  OCFS

  * GFS 的 Oracle 翻版據說性能比 GFS 好 (Debian: aptitude install ocfstools 圖形配置工具包 ocfsconsole)

   不支持 ACLflock只是為了 Oracle database 設計

  OpenAFS

  + 成熟穩定

  + 開發活躍支持 Unix/Linux/MacOS X/Windows

   性能不夠好

  Coda

  * 從服務器復制文件到本地文件讀寫是本地操作因此很高效

  * 文件關閉後發送到服務器

  + 支持離線操作連線後再同步到服務器上

   緩存基於文件不是基於數據塊打開文件時需要等待從服務器緩存到本地完畢

   並發寫有版本沖突問題

   並發讀有極大的延遲需要等某個 client 關閉文件比如不適合 tail f somelog

   研究項目不夠成熟使用不廣

  PVFS

  

  * 高性能

   沒有鎖機制不符合 POSIX 語意需要應用的配合不適合做通用文件系統

  (See pvfsguide chaper : PVFS User APIs and Semantics)

   靜態配置不能動態擴展

  Lustre

  * 適合大型集群

  + 很高性能

  + 支持動態擴展

   需要對內核打補丁深度依賴 Linux 內核和 ext 文件系統

  Hadoop HDFS

  * 本地寫緩存夠一定大小 ( MB) 時傳給服務器

   不適合通用文件系統

  FastDFS

   只能通過 API 使用不支持 fuse

  NFSv Referrals

  + 簡單

   沒有負載均衡容錯

  NFSv pNFS

   沒有普及

  spNFS

  * pNFS 在 Linux 上的一個實現

  Ceph

   開發初期不穩定

   依賴 btrfs


From:http://tw.wingwit.com/Article/Common/201311/7363.html
    推薦文章
    Copyright © 2005-2022 電腦知識網 Computer Knowledge   All rights reserved.