在7月27日舉辦的Cloud Insight Conference 2018云計算峰會上，青云QingCloud推出一系列新產(chǎn)品和新功能，涵蓋云平臺、超融合、軟件定義存儲、容器、統(tǒng)一云管、云應(yīng)用管理、基礎(chǔ)設(shè)施與骨干網(wǎng)等，完善企業(yè)級云模式ICT產(chǎn)品線布局，持續(xù)發(fā)力企業(yè)級市場。青云QingCloud 存儲高級技術(shù)專家寧安接受e－works記者采訪，分享了青云QingCloud致力于下一代文件存儲的產(chǎn)品和戰(zhàn)略。

隨著IT技術(shù)的發(fā)展，企業(yè)數(shù)據(jù)正以爆炸式速度增長。從企業(yè)的信息化系統(tǒng)、移動互聯(lián)應(yīng)用、再到物聯(lián)網(wǎng)的大勢所趨，數(shù)據(jù)已經(jīng)成為企業(yè)發(fā)展至關(guān)重要的生產(chǎn)要素。

一方面，數(shù)據(jù)海洋使得企業(yè)對于大數(shù)據(jù)的存儲和分析需求增多，IT面臨著越來越多的挑戰(zhàn)；另一方面，軟件定義存儲（SDS）正在成為未來存儲的主流方向，越來越多的存儲解決方案在涌現(xiàn)，為企業(yè)用戶有效解決數(shù)據(jù)存儲、遷移、管理和保護。

根據(jù)IDC與Wikibon預(yù)測，中國未來幾年的SDS市場年均增長率將達31．55％，2021年規(guī)模將達8．6億美金。Gartner 2017年對中國SDS市場分析中指出，越來越多的非結(jié)構(gòu)化數(shù)據(jù)正存放在由軟件定義存儲管理的低成本存儲設(shè)備上，這其中，文件存儲在當前市場需求中占據(jù)64．7％的主流份額，遠高于塊存儲25％和對象存儲10．3％的占比。

企業(yè)級文件存儲發(fā)展趨勢

企業(yè)級文件存儲的應(yīng)用場景非常廣泛，不管是金融、制造、傳媒娛樂、廣電等諸多行業(yè)，都需要文件存儲應(yīng)用。特別是對于制造業(yè)而言，海量終端設(shè)備帶來數(shù)據(jù)量的大幅增加，對于存儲的需求也隨之增長。

與此同時，文檔內(nèi)容管理目標也正在產(chǎn)生改變。一方面，企業(yè)產(chǎn)生的數(shù)據(jù)量呈指數(shù)級增長，信息資源爆炸式激增；另一方面，越來越多的非結(jié)構(gòu)化數(shù)據(jù)正在誕生，IDC有報告指出，80％的企業(yè)數(shù)據(jù)將為非結(jié)構(gòu)化數(shù)據(jù)。這意味著傳統(tǒng)的信息資源管理技術(shù)已經(jīng)無法應(yīng)對大數(shù)據(jù)時代的挑戰(zhàn)。

縱觀企業(yè)級文件存儲的發(fā)展趨勢，2000年以前，主流的存儲方案是采用傳統(tǒng)的NAS硬件存儲方案。這一時期，硬件控制器決定了存儲系統(tǒng)的性能上限和容量上限，其資源難以被多系統(tǒng)共享，擴展性差、成本高。對于大多數(shù)企業(yè)而言，內(nèi)部文件存儲往往采用公司自己架設(shè)或者購買的服務(wù)器來作為存儲介質(zhì)。這種方式不僅成本較高，就安全性而言，也存在不少弊端。

2000年以后逐漸出現(xiàn)了分布式文件系統(tǒng)，主要分為兩種架構(gòu)：一種是以Hadoop HDFS和LusterFS為代表的集中式索引架構(gòu)，這種架構(gòu)的文件數(shù)量會受到單節(jié)點和索引節(jié)點容量限制；第二種是全對等Hash架構(gòu)，完全拋棄單獨的索引節(jié)點，其代表是GLuster和Ceph，這種架構(gòu)的弊端在于擴展擴容不方便，一致性較差。

未來，是否將誕生下一代文件存儲？下一代文件存儲需要具備哪些特征？青云QingCloud 存儲高級技術(shù)專家寧安接受e－works記者采訪時指出，“未來的文件存儲至少需要滿足四大特性：首先，全面支持云應(yīng)用，無縫兼容傳統(tǒng)應(yīng)用；第二，按需使用，彈性擴容；第三，智能管理與運維，避免人工運維帶來的很多成本問題；第四，實現(xiàn)高可用，保證7＊24小時可用。”

Ceph架構(gòu)下文件存儲的優(yōu)劣

在寧安看來，盡管Ceph是呼聲很高的開源分布式的SDS產(chǎn)品存儲系統(tǒng)，同時提供對象存儲、塊存儲和文件存儲三種功能，但仍存在著一定的短板和局限。

客觀來看，Ceph架構(gòu)的優(yōu)勢在于其擴展性，它的性能會隨著磁盤數(shù)量線性增長，能夠降低硬件成本和運維成本，但它的復(fù)雜性會帶來較高的學(xué)習(xí)成本。
寧安在采訪中介紹，如果用Ceph架構(gòu)文件存儲功能，通常會有三種方案：

其一，采用CephFS接口，當前仍是不穩(wěn)定狀態(tài)，不適合生產(chǎn)部署。此外，它的元數(shù)據(jù)服務(wù)是單點的，因此無法分布式部署；

第二種采用Ceph的塊存儲接口，通過塊設(shè)備掛載到一個機器上，格式化本地文件系統(tǒng)，再對文件系統(tǒng)做NFS服務(wù)來暴露數(shù)據(jù)。這種方法的問題在于它只有一個單點，因為本地系統(tǒng)的限制，無法同時掛載兩個，所以無法負載均衡；

第三種基于Ceph的對象存儲接口＋FUSE的掛載來轉(zhuǎn)化協(xié)議。這種方法的問題在于性能比較差，因為有協(xié)議轉(zhuǎn)換的損耗，而且這是對象存儲接口，限制不能隨機修改。

由此也帶來Ceph架構(gòu)四個方面的問題：

首先是數(shù)據(jù)一致性問題。因為多份Hash在不同客戶端有不同的狀態(tài)，難以維持各個客戶端狀態(tài)一致，而Ceph架構(gòu)的主要特點在于依賴客戶端Hash實現(xiàn)數(shù)據(jù)定位，所以Ceph架構(gòu)存在數(shù)據(jù)一致性問題；

其次是高可用問題，節(jié)點恢復(fù)和無法遷移時，需要改變Hash區(qū)間分布，一邊改變一邊遷移就會影響數(shù)據(jù)一致性訪問。為了闡述Ceph存在的高可用缺陷，寧安舉了一個真實案例：某大型企業(yè)有40多個節(jié)點的Ceph集群，某天兩塊硬盤同時出現(xiàn)故障，由于這兩塊壞硬盤的數(shù)據(jù)遷移恢復(fù)了10小時，過程中有部分數(shù)據(jù)是不能訪問的；

第三是Ceph擴展性問題，這也是由Hash引發(fā)的問題。其擴容時每次只能增加一臺，假如增加兩臺，Hash會受到損壞。擴容時只能等一臺數(shù)據(jù)遷移完畢后，才能增加下一臺。所以無法對它進行緊急擴容，只能一點點去做。

第四運維復(fù)雜，企業(yè)需要投入大量的人力、物力成本，甚至需要招聘特別懂Ceph的工程師。

青云QingCloud面向下一代的文件存儲

為了順應(yīng)下一代文件存儲四大特征，QingStor文件存儲提出了三大創(chuàng)新架構(gòu)：

首先，基于分布式塊存儲NeonSAN。它是具有高性能、強一致的塊存儲，沒有本地文件系統(tǒng)在里面，涵蓋分布式網(wǎng)關(guān)和NeonSAN兩類節(jié)點；

第二，無限水平擴展。通過目錄和文件分離存儲的架構(gòu)，元數(shù)據(jù)層存儲所有索引目錄，可以定位文件具體位置。還有一個組件是控制層，負責(zé)下層塊設(shè)備的空間分配和事務(wù)管理；

第三，并行處理架構(gòu)。所有的網(wǎng)關(guān)節(jié)點和NeonSAN節(jié)點是全互聯(lián)的關(guān)系，每個節(jié)點之間都可以相互訪問，且是通過最短路徑。集群內(nèi)數(shù)據(jù)復(fù)制與業(yè)務(wù)訪問分離，分別通過不同的網(wǎng)絡(luò)，因此在數(shù)據(jù)遷移和擴容時，不會對業(yè)務(wù)有任何影響。

寧安說，“基于QingStor文件存儲的三大創(chuàng)新架構(gòu)，QingStor文件存儲的企業(yè)級特性可以做到安全可靠、強一致、高可用，并且具有超高性能、彈性可調(diào)，同時對成本做出了優(yōu)化?！?br style="padding: 0px; margin: 0px;"/>除此之外，青云QingCloud面向下一代的QingStor文件存儲還具備部署靈活和可視化管理的特性。

在部署環(huán)節(jié)，QingStor文件存儲可以支持最小規(guī)模3節(jié)點的存儲網(wǎng)關(guān)部署，與3節(jié)點塊存儲部署；對于網(wǎng)絡(luò)，也沒有特別要求，企業(yè)能夠利用現(xiàn)有的交換機去部署TCP／IP網(wǎng)絡(luò)，內(nèi)部數(shù)據(jù)通信通過基于以太網(wǎng)的RDMA （RoCE），做到低延遲的數(shù)據(jù)復(fù)制；另外，企業(yè)可選的存儲介質(zhì)包括全閃存、在SATA基礎(chǔ)上做SSD緩存加速，以及純SATA。

為了更好地進行文件存儲管理，QingStor開發(fā)了可視化管理的Portal，QingStor文件存儲可以在Portal上，對于系統(tǒng)資源池進行管理，也能對于上層文件系統(tǒng)空間做管理，對于整個系統(tǒng)的運行狀態(tài)和告警可以一覽無余。

據(jù)了解，面向下一代的QingStor文件存儲是青云QingCloud三款存儲產(chǎn)品之一，另外還包括塊存儲方案NeonSAN，以塊驅(qū)動的方式來暴露訪問結(jié)果，適用于數(shù)據(jù)庫和虛擬化場景；以及對象存儲方案，能夠存儲海量的非結(jié)構(gòu)化數(shù)據(jù)，是以HTTP API的方式暴露結(jié)果，主要面向新型web應(yīng)用。