106年9月23日星期六

| 科學數據儲存服務

國網中心的科學數據儲存系統提供給學術及研究的用戶,既方便又實惠的方式來存儲、備份及共享超大量的數據資料。用戶可以使用支援多種通信協定(如FTP、WebDAV等)之開放軟體來處理其大量長期保存之資料,這對於一般的用戶,提供一個靈活、具擴充性及長遠性的大量資料儲存解決方案。

科學數據儲存系統簡介

科學數據儲存系統其建置的架構如下圖,在後端的資料儲存平台方面,是以一般的伺服器配置高容量的硬碟,作為儲存伺服器,一台伺服器約可配置約20T的儲存空間。此儲存伺服器再以10G的網路串接起來,將個別的儲存伺服器以一分散式檔案系統整合成一個超大型儲存空間,目前在國網中心新竹、台中及台南機房共建置64個儲存伺服器合計有2200TB的空間。為了資料的備份我們使用資料備份軟體HSM將資料備份至磁帶館,具備自動搬遷功能之儲存設施,可將用戶資料強制分級遷移至磁帶儲存設施。

014

科學數據儲存特色

  • 高可靠性及耐用性
根據國網中心的三個據點,透過高品質學術研究網路(TWAREN)串連成專屬網路(Virtual Private LAN Service Network,VPLS),打造橫跨三地的分散儲存系統,為了強化資料的高可靠度,在分散資料儲存的系統環境裡,設計多套錯誤群組(failure group)及仲裁節點(Quorum node),使資料任意存放在兩個地點以上,可以避免單點失效的問題,不僅可以增加資料儲存服務整體效能,也可以預防區域性災害,如地震、火災、停電等等因素,而造成服務停擺。
  • 成本和便利性
儲存設施所使用的儲存空間,是一個利用分散式檔案系統所建置的高可用叢集儲存架構,該分散式檔案系統由磁碟及磁帶共同構成,且將兩者儲存空間融合成單一儲存空間,當資料存放在此系統時,可任意進行資料搬移。使用者透過高速網路設備,直接存取資料儲存伺服器時,網路傳輸不予以計費,若資料為使用率較高者,將暫時存放於共用磁碟陣列中,以維持其讀寫效率;若資料為使用較低者或使用率降低者,該資料將轉移至速度較慢之磁帶館,以節省資料儲存成本及效益。
  • 開放系統標準
採用WebDAV (Web-based Distributed Authoring and Versioning)及SSL (Secure Sockets Layer)做為標準傳輸協定,運用超文字傳輸安全協定(Hypertext Transfer Protocol Secure)及網頁瀏覽器就可以輕易使用儲存服務,如此,可大幅減低使用者的技術門檻,WebDAV也為多家商業公司所採納,只要搭配相容WebDav的軟體就可以管理各家儲存服務的檔案。在資料保存格式方面,延用UNIX檔案系統的標準格式,可以避免日後資料鎖定(lock-in)的問題。
  • 簡單且易於連結
使用者操作前端,只要是使用WebDAV或FTP通信協定,皆可存取資料,此前端軟體,在Open Source方面,在Windows作業系統上有科學數據儲存管理軟體CyberDuck、資料同步可使用Lftp軟體、資料加密備份的duplicati;在Linux 系統上有文字命令列有cadaver、rsync等多種應用程式都可以使用。
  • 資料安全性
為加強資料保障,傳輸過程亦提供SSL (Secure Sockets Layer)資料傳輸加密及密碼管理。儲存服務團隊於2005年獲得ISO 9001國 際認證,2006年獲得ISO 27001(及CNS 27001)資訊安全認證,2008年獲得ISO 9001與27001合併認證,並於2014年5月重新驗證新版ISO27001:2013,資訊安全認證為本中心各項機制之品質授予最堅固的保證,提供服務之資訊安全最佳證明。以標準的流程、專業的態度、務實的精神,步步落實與執行,提供貴所最完善的資料儲存服務。
技術規格特色
  • 初始2.2PB原始存儲,可擴展到超過10PB具有同等的性能提升。
  • 設計具備負載平衡(Load Balance)及容錯移轉(Fail-Over)機制。
  • 導入儲存虛擬化功能,整合IBM磁帶儲存設施。
  • 離線磁帶異地複製功能。
當前叢集硬體規格
元件 產品特點 節點詳細規格
負載平衡伺服器6部 DELL PowerEdge R210 II
四核E3-1230 3.2GHz CPU
8 GB 記憶體
Broadcom NetXtreme II Dual Port 10G光纖網路卡
2顆SATA 500GB磁碟
1顆Intel 520120GB SSD磁碟
應用伺服器12部 IBM x3550 M4
6核E5-2620 2.0GHz CPU
8 GB 記憶體
ServeRAID M5100 RAID卡
Broadcom NetXtreme II Dual Port 10GBaseT 網路卡 · 2顆IBM SAS 300GB磁碟
存儲節點A 16部 IBM X3630M4
4核E3-1220 3.1GHz CPU
8 GB 記憶體
ARECA ARC-1880ix-24RAID卡
Intel X520-T2Dual Port 10GBaseT 網路卡
1顆SATA 32GB SSD 磁碟
24 * 2TB SATA磁碟
存儲節點B 30部 IBM X3630M4
6核E5-2430 2.2GHz CPU
8 GB 記憶體
ServeRAID M5100 RAID卡
Broadcom NetXtreme II Dual Port 10GBaseT 網路卡
2顆IBM SAS 500GB SSD 磁碟
2顆IBM NL-SAS 4TB磁碟
網路交換器 6部
IBM TS3500
15 x LTO5 Drive
20 x LTO6 Drive
LTO 磁碟4100捲 ,6PB

回首頁 | 到頂端 | 上一頁
  設施與服務 研發與合作 使用者專區 科研成果
媒體中心
有關國網 相關連結
© All Rights Reserved 2005-2014 國家高速網路與計算中心|網站管理員信箱 webmaster@narlabs.org.tw 瀏覽人次 : 885,633