【創科廣場】遠程快閃記憶躍進 改寫數據中心設計

2020-09-09 06:45
近年,NVMe SSD全快閃記憶體快速發展,NVMe介面存取速度極高,價格迅速下跌。SSD原本針對伺服器設計,不屬於傳統的儲存架構,NVMe連接PCIe的介面,也更難支援「熱更換」(Hot-swap),損壞後有機會導致停機。

全球數據中心均考慮如何以NVMe SSD,提升分析和存取。配置NVMe SSD到虛擬機器(VM)有各種困難,導致SSD無法充分利用;市場上興起SDS(軟件定義儲存裝置)方案。NVMe SSD通過SDS的軟件虛擬化,可降低成本,並提高使用的效率。

無所不在的NVMe

簡單而言,SDS就是虛擬化儲存,透過不同協定分配。市場上有不同針對NVMe SSD全快閃記憶體SDS方案;其中以色列初創Lightbits labs提出了基於NVMe over TCP的SDS方案,最為業界一致看好;DellEMC、Cisco、Micron亦大力投資。

NVMe over TCP亦可快可配合DellEMC擁有VMware的超融合vSAN及容器方案。

NVMe over TCP存儲的價值在於,NVMe協議本身專針對SDS存儲設計,支援最大佇列數和佇列深度,故此IO和讀寫量大為提升,充分發揮SDS讀寫性能。

NVMe協定經多年發展,最早支援PCIe介面,如今發展至支援各種網絡協定;變成了不同的NVMe-over-Fabrics(NVMe-oF)技術;NVMe over TCP即為其中之一。

NVMe-oF現在具備FC、Infiniband、RDMA、TCP協議;NVMe over TCP之所以被寄予厚望,一方面TCP應用生態極大,可適應各種場景;另外以太網快速發展,頻寬不再是問題。NVMe over TCP性能上,不比其他技術差。Lightbits labs開發的NVMe over TCP,制定了業內共同協定,並貢獻在Linux kernel的標準化驅動程式。

Lightbits labs開發的LightOS,也是業內首個基於NVMe over TCP的商用SDS解決方案.2019年已發布第一代產品,功能齊全,具備Erasure coding、實時壓縮、硬盤持久優化,薄配置(Thin-provisioning)等高階儲存功能。

2020年,Lightbits Labs發布了第二代產品,跟當前的應用分散式存儲系統融合,基於標準伺服器和以太網,直接在Linux kernel支持多種功能,支援虛擬架構、超融合及容器。

數據中心起革命

Lightbits Labs技術對於提升數據中心,具備重要意義,原因是數據中心資源,可分散(Disaggregation),再集中變為資源池(Resource pooling),再集中派配, 提高了運算和存儲資源使用率,最明顯方法是以融合式架構,以虛擬化分配,甚至採用超融合架構(HCI),或者向容器分配,解決了應用的靈活擴展,存儲的需求變化。

IT管理人員則只要監控資源池的使用率。存儲須直接連到伺服器主機上,而是通過其他協定,令塊存儲(Block storage)具更佳擴展性,根據不同業務需求,再靈活構建各種不同存儲解決方案,物盡其用。

Lightbits Labs方案提供的塊存儲;可針對檔案、物件、數據庫等儲存特點,作出分配和優化。上層應用存儲方案,一般解決幾個共同難題:包括了儲存的可靠性、高可用、擴展性、加密壓縮數據等。分層存儲架構設計,底層構建了高可靠、高可用性、高度擴展,理解物理存放裝置特性,優化塊存儲層,再根據不同應用需要,配置適合存儲,完全可按業務需要分配。

再見RDMA

以往,單純利用TCP協定,而不用RDMA(Remote direct memory access)配件,NVMe over TCP的延遲率會大為提高,也是困擾NVMe-oF技術的難題。

一般而言,遠程NVMe存取必須通過支援遠程RDMA硬件協助,兩部機器毋須通過作業系統或者處理器,直接交換記憶體內的數據,才解決延遲率;現實上非常難部署。

Lightbits Labs和Solarflare推廣TCP-over-bog-standard,以太網NVMe-over-Fabrics (NVMe-oF)概念,該公司開發的XtremeScale NIC卡,可以毋須RDMA,向NVMe儲存和網絡提供高速連接。

NVMe-over-TCP內核擴展則為XtremeScale介面卡,提供通過傳統相容POSIX以太網TCP網絡接近NVMe本地快閃記憶體低延遲能力,所以完全再依賴RDMA配件,以純軟件方式實現NVMe-over-TCP,也更容易部署。去年,Solarflare已被FPGA廠商Xilinx所收購。

類似Nutanix超融合架構,一直利用傳統RDMA配合NVMe-oF,向VM分配NVMe SSD。NVMe-over-TCP一旦擺脫RDMA,就出現大躍進,提高部署NVMe靈活性和降低成本,促使其他HCI廠商,亦要考慮NVMe-over-TCP。

最新回應

關鍵字

熱門文章