Apache Spark、SAP HANA 和 NoSQL 数据库等多种技术都有一个共同的架构特征——使用内存数据存储。将数据集从传统存储介质移动到内存可以显着减少系统延迟并提高应用程序性能。然而,这些数据集变得越来越大,导致对所谓的“大内存”的需求。

不幸的是,动态随机存取存储器 (DRAM) 的成本实际上是硬盘驱动器存储的数百倍,是闪存成本的 10 倍,[1]使得将 DRAM 用于非常大的数据集的成本高得令人望而却步。此外,基于 DRAM 的解决方案仍然需要持久存储,当缓存未命中故障转移到磁盘时,这些下一代应用程序的性能可能会直线下降。

为了应对这些挑战,一些 IT 架构师已转向闪存存储。闪存可以作为现有 DRAM 的低成本、持久性扩展,同时与基于硬盘的存储相比,通常提供更好的性能。由于这些原因,其中使用闪存构建的大内存解决方案已广受欢迎。[2]

现在的问题变成了:“我们如何构建利用闪存提供的可靠性和性能的超低延迟大内存解决方案?” 碰巧的是,一个重要的关键是服务器场和闪存之间的接口。CPU 和存储之间的数据流量要经过许多组件,所有这些都会增加一些延迟,包括处理器到背板的延迟、操作系统 (OS)、文件系统、接口协议、网络和存储系统的延迟。这些组件中的每一个都在使用各种技术,不同的选项会影响整个解决方案的总延迟、成本和效率。为了显着降低存储接口的延迟,近来备受关注的一项技术是基于结构的非易失性内存表达 (NVMe-oF) 协议。

stouffer1-296x300.png

层/驱动程序的图形,NVMe-oFNVMe-oF 允许主机硬件和软件更充分地利用全闪存阵列提供的微秒级延迟。它减少了 CPU 和存储之间的 I/O 开销,与以前的接口(如最初开发用于速度慢得多的硬盘驱动器的 SCSI)相比,可以提高性能。[3]

NVMe 已被用于基于 PCIe 的内部 SSD。由于需要更大的内存容量和更高的可扩展性,以便使用 Spark、SAP HANA 或IBM PowerAI Vision等认知解决方案执行更大的分析工作,IT 行业开发了 NVMe over Fabrics (NVMe-oF) 来扩展NVMe 到使用光纤通道、以太网或 InfiniBand 的存储网络上。

NVMe-oF 可以使 IT 架构师通过超低延迟存储网络将外部存储资源(例如具有数百 TB 甚至 PB 容量的全闪存阵列)连接到分析引擎。从本质上讲,得益于 NVMe-oF 的承诺,内存应用程序的大小可以不受限制,而不会影响成熟网络协议和企业级存储系统提供的任何可靠性和数据服务。

地球图像,NVMe-oF如今,大内存就是大生意。例如,市场研究表明,到 2020 年,仅在 21% 的年增长率的推动下,NoSQL 的销售额就将达到 34 亿美元。[4]在 NoSQL 数据库上扩展 Web 基础设施已被证明对 Facebook、Digg 和 Twitter 等许多人来说是成功的。[5] SAP 最近宣布,S/4HANA 的采用率在 2017 年同比翻了一番,达到 5,400 多家客户,仅在第四季度就有 1,300 家客户注册,其中包括 Nike 和 Ameco Beijing。显然,大型、高性能数据存储和大数据分析的市场是巨大的。

大内存及其支持的大业务将推动采用高度可扩展、延迟消除的解决方案,例如 NVMe-oF。最初设计用于支持毫秒级磁盘和夜间批处理的技术正在让位于支持对大量数据集进行实时分析的微秒级存储。

使用 NVMe-oF,您可以随心所欲地享用蛋糕。请继续关注 IBM 即将推出的 NVMe 和NVMe-oF内容。

[1]内容和图片来源:IBM Systems 白皮书:将实时洞察转化为现实,2017 年 9 月 TSW03555-USEN-00
[3]图片来源:NVMe over Fibre Channel for Dummies,Wiley Brand Brocade 特别版 2017 ISBN:978-1-119-39970-4
[4] NoSQL 市场预测 2015-2020,市场研究媒体,2016 年 1 月 (https://www.marketresearchmedia.com/?p=568)
[5] IBM System 白皮书:将实时洞察转化为现实,2017 年 9 月 TSW03555-USEN-00

Tags: none

我有个想法