星岛日报

【创科广场】远程快闪记忆跃进 改写数据中心设计

2020-09-09 06:45
近年,NVMe SSD全快闪记忆体快速发展,NVMe介面存取速度极高,价格迅速下跌。SSD原本针对伺服器设计,不属于传统的储存架构,NVMe连接PCIe的介面,也更难支援「热更换」(Hot-swap),损坏后有机会导致停机。

全球数据中心均考虑如何以NVMe SSD,提升分析和存取。配置NVMe SSD到虚拟机器(VM)有各种困难,导致SSD无法充分利用;市场上兴起SDS(软件定义储存装置)方案。NVMe SSD通过SDS的软件虚拟化,可降低成本,并提高使用的效率。

无所不在的NVMe

简单而言,SDS就是虚拟化储存,透过不同协定分配。市场上有不同针对NVMe SSD全快闪记忆体SDS方案;其中以色列初创Lightbits labs提出了基于NVMe over TCP的SDS方案,最为业界一致看好;DellEMC、Cisco、Micron亦大力投资。

NVMe over TCP亦可快可配合DellEMC拥有VMware的超融合vSAN及容器方案。

NVMe over TCP存储的价值在于,NVMe协议本身专针对SDS存储设计,支援最大伫列数和伫列深度,故此IO和读写量大为提升,充分发挥SDS读写性能。

NVMe协定经多年发展,最早支援PCIe介面,如今发展至支援各种网络协定;变成了不同的NVMe-over-Fabrics(NVMe-oF)技术;NVMe over TCP即为其中之一。

NVMe-oF现在具备FC、Infiniband、RDMA、TCP协议;NVMe over TCP之所以被寄予厚望,一方面TCP应用生态极大,可适应各种场景;另外以太网快速发展,频宽不再是问题。NVMe over TCP性能上,不比其他技术差。Lightbits labs开发的NVMe over TCP,制定了业内共同协定,并贡献在Linux kernel的标准化驱动程式。

Lightbits labs开发的LightOS,也是业内首个基于NVMe over TCP的商用SDS解决方案.2019年已发布第一代产品,功能齐全,具备Erasure coding、实时压缩、硬盘持久优化,薄配置(Thin-provisioning)等高阶储存功能。

2020年,Lightbits Labs发布了第二代产品,跟当前的应用分散式存储系统融合,基于标准伺服器和以太网,直接在Linux kernel支持多种功能,支援虚拟架构、超融合及容器。

数据中心起革命

Lightbits Labs技术对于提升数据中心,具备重要意义,原因是数据中心资源,可分散(Disaggregation),再集中变为资源池(Resource pooling),再集中派配, 提高了运算和存储资源使用率,最明显方法是以融合式架构,以虚拟化分配,甚至采用超融合架构(HCI),或者向容器分配,解决了应用的灵活扩展,存储的需求变化。

IT管理人员则只要监控资源池的使用率。存储须直接连到伺服器主机上,而是通过其他协定,令块存储(Block storage)具更佳扩展性,根据不同业务需求,再灵活构建各种不同存储解决方案,物尽其用。

Lightbits Labs方案提供的块存储;可针对档案、物件、数据库等储存特点,作出分配和优化。上层应用存储方案,一般解决几个共同难题:包括了储存的可靠性、高可用、扩展性、加密压缩数据等。分层存储架构设计,底层构建了高可靠、高可用性、高度扩展,理解物理存放装置特性,优化块存储层,再根据不同应用需要,配置适合存储,完全可按业务需要分配。

再见RDMA

以往,单纯利用TCP协定,而不用RDMA(Remote direct memory access)配件,NVMe over TCP的延迟率会大为提高,也是困扰NVMe-oF技术的难题。

一般而言,远程NVMe存取必须通过支援远程RDMA硬件协助,两部机器毋须通过作业系统或者处理器,直接交换记忆体内的数据,才解决延迟率;现实上非常难部署。

Lightbits Labs和Solarflare推广TCP-over-bog-standard,以太网NVMe-over-Fabrics (NVMe-oF)概念,该公司开发的XtremeScale NIC卡,可以毋须RDMA,向NVMe储存和网络提供高速连接。

NVMe-over-TCP内核扩展则为XtremeScale介面卡,提供通过传统相容POSIX以太网TCP网络接近NVMe本地快闪记忆体低延迟能力,所以完全再依赖RDMA配件,以纯软件方式实现NVMe-over-TCP,也更容易部署。去年,Solarflare已被FPGA厂商Xilinx所收购。

类似Nutanix超融合架构,一直利用传统RDMA配合NVMe-oF,向VM分配NVMe SSD。NVMe-over-TCP一旦摆脱RDMA,就出现大跃进,提高部署NVMe灵活性和降低成本,促使其他HCI厂商,亦要考虑NVMe-over-TCP。

最新回应

關鍵字

热门文章