过去几年,全球数字化进程加速,不断增长的5G、人工智能、远程办公、工业数据、政务、金融和能源上云的需求,促使云服务商增加了对数据中心基础设施的投入。据第三方机构统计,全球云基础设施增长迅猛,总支出从2020年1400亿美元增长到了2021年的1900亿美元,增长了36%。

数据中心基础设施支出的增加包括对服务器和存储需求的增加,存储需求其中一大部分是企业级固态硬盘的需求。据第三方机构统计,2020年全球企业级固态硬盘市场规模约为161亿美元,到2023年有望增至305亿美元,期间年复合增长率约为24%。

市场需求的增加对于企业级SSD厂商而言无疑是利好,展望未来,在例如容量点、PCIe 5.0平台适配、性能、需求、降本增效等SSD产品层面,如何应对数据中心未来的需求和挑战,则需要企业级SSD厂商对产品规划和设计进行一些思考,本文根据今年美国FMS闪存峰会和OCP会议的一些内容做一些思考和分享。

1. 企业级SSD容量点的演进

按照Omdia对未来企业级SSD容量点应用比例分布预测,随着存储的总容量需求提升及每GB价格的下降,大容量SSD部署比例将会逐年增加。按盘数,2022年4T及以上容量点占比27%,到2026年接近51.5%。2022年8T及以上容量占比较少14.4%,但未来预测8T及以上大容量SSD占比大幅增至38.7%。大容量SSD部署比例的提升,帮助了企业和数据中心降低SSD $/GB成本,进而帮助存储部分降低总拥有成本TCO。

来源Omdia:未来容量点比例分布预测

数据中心如何部署和分配不同容量的SSD盘,一般按照:

 240G-480G小容量SSD:作为服务器Boot启动盘,当前以M.2/2.5寸 SATA SSD为主,企业级SATA SSD成熟、可靠和稳定,$/GB相对较低,成本最优。

 1T:作为服务器本地存储盘使用为主,用量较少。

 2T-4T:作为服务器所在物理机(宿主机)上的本地硬盘使用,本地盘适用于对存储I/O性能和海量存储性价比有极高要求的业务场景,具有低时延、高随机IOPS、高吞吐量、高性价比等优势。

 8T-16T:作为块存储云盘使用,云盘是云服务器提供的数据块级别的块存储产品,采用多副本的分布式机制,具有低时延、高性能、持久性、高可靠等性能,可以随时创建、扩容以及释放。

长江存储企业级SATA SSD SE005容量点为240G～1.92T,尺寸2.5寸,顺序读写分别高达540/510 MB/s,随机读写分别高达98/59 KIOPS,小容量点适合作为服务器启动盘使用。

长江存储SE005

2. PCIe 5.0 SSD和CPU平台

按照Intel服务器至强CPU路线图,Intel于2013年推出支持PCIe 3.0接口的Grantley平台,2017年推出支持PCIe 3.0接口的Purley平台,2020年推出支持PCIe 4.0接口的Whitley平台,目前这些平台均在企业级和数据中心中部署。支持PCIe 5.0接口的第一代Sapphire Rapids延迟到2023年Q1发布,随后第二代支持PCIe 5.0接口的Emerald Rapids计划于2023年发布,第三代Granite Rapids、Sierra Forest计划于2024年发布。随着即将到来的搭配Sapphire Rapids CPU的服务器平台,PCIe 5.0 SSD会首发出场,登上舞台,将服务器上的存储带宽提升到一个新的高度。

来源网络:Intel服务器至强CPU路线图

AMD在今年11/12发布了Genoa系列EPYC霄龙 Zen 4处理器,支持128条以上PCIe 5.0接口,适配PCIe 5.0 SSD,并支持通过 Compute Express Link (CXL) 进行内存扩展。同样,PCIe 5.0 SSD的加载将服务器上的存储带宽提升到一个新的高度。

根据AMD最新公布的服务器CPU路线图,基于Zen4架构的Bergamo将于2023年上半年上市,Genoa-X和Siena也将在2023年某个时候上市。至于AMD在2024年在服务器CPU领域的路线图中最重要的部分,可能是计划在2024年底之前的某个时间将其代号为“Turin”的第5代EPYC处理器推向市场。

来源网络:AMD服务器CPU路线图

PCIe 5.0接口速度2倍于PCIe 4.0接口,带宽翻倍。相应的PCIe 5.0 SSD可实现顺序读写性能的翻倍和随机读写性能的大幅提升,例如长江存储企业级PCIe 4.0 NVMe固态硬盘PE310产品,顺序读写分别高达6200/4500 MB/s, 随机读写分别高达1000/380 KIOPS,到下一代PCIe 5.0 SSD,顺序读写和随机读性能基本实现2倍提升。

长江存储PE310

当Sapphire Rapids和Genoa用上PCIe 5.0 SSD,硬件上数据中心的存储性能已经不再是瓶颈,性能瓶颈或许已是系统软件,如何用满和用好PCIe 5.0 SSD的性能,是摆在软件面前的一道课题。但对于企业级SSD厂商而言,使用新一代NAND,设计一款高性能、低功耗、合适尺寸、多容量点、满足客户各种特性需求的PCIe 5.0 SSD,仍是努力要完成的工作。

3. SSD每TB性能

通常云上用户将数据存储在云盘,数据中心云盘按照性能高低和容量大小售卖,售卖价格也是按照不同的性能和容量大小制定的,性能越好容量越大价格越高。如下图,阿里ESSD云盘的性能分为不同的PL0-PL3等级,对用户而言,举例购买到的单盘IOPS计算公式 = min(1800+50*容量,1000K or 100K or 50K…),单盘吞吐量计算公式 = min(120+0.5*容量,4000 or 750 or 350…)。单盘IOPS和吞吐量性能随着容量增加相应按比例提升。云盘数据存储在后台SSD上,因此对SSD单位容量如每TB性能有了基本的最低要求,才能满足售卖时对用户声称的性能规格。每TB性能 = 单盘性能/容量TB数。

来源阿里云:云盘性能参数表

NAND介质继续往前发展,层数不断增加,一方面带来成本和客户感知的$/GB价格不断下降,另一方面由于新NAND Die容量增大,对于同容量SSD而言可用NAND Die的个数随之减少。例如NAND A Die容量是64GB,随着下一代新层数的NAND的来临,NAND B Die容量变为128GB,同容量SSD中NAND Die个数减少为之前的1/2,因此对NAND读写的并发数减少为之前并发数的1/2,SSD的性能也降为之前的1/2,这就是导致SSD每TB性能下降的一个案例。

作为SSD供应商,当使用新的NAND开发下一代SSD产品之前,解决每TB性能下降变成了要面对的问题,方法有:

1) PCIe前端接口带宽不变,使用新的NAND,设计其单Die容量仍然同前一代NAND Die容量。

2) PCIe前端接口带宽不变,使用新的NAND,Die容量增加一倍,增加单Die内部Plane个数,相当于增加NAND读写并发数来提升SSD系统性能。例如长江存储最新的X3-9070 NAND从之前的X2-9060的4个Plane增加到6个Plane。

3) PCIe接口升级,如从PCIe 4.0过渡到5.0,带宽翻倍,使用新的NAND,虽然Die容量增加一倍,但2X大容量SSD连续读写性能也随着PCIe带宽翻倍而翻倍。

4) PCIe接口升级,如PCIe 4.0过渡到5.0,带宽翻倍,使用新的NAND,Die容量增加一倍,提升NAND Flash IO速度来适配前端PCIe翻倍的数据带宽。例如长江存储最新的X3-9070 NAND支持2400 MT/s接口速度, 相较上一代NAND的1600 MT/s接口速度可极大的提升SSD顺序和随机读写性能。

长江存储三维闪存芯片

由此可见,为了满足数据中心存储每TB性能需求,SSD厂商当开发下一代SSD时,要站在用户角度思考如何保持不低于上一代SSD的每TB性能,提供必要的技术方法进行解决。

4. 需求标准化

数据中心对SSD的需求多样化和碎片化,不仅国内各家都不一样,国内和国外也不尽相同。同时由于其对SSD需求的某些细节机密无法对外公开,一部分SSD原厂供应商凭借和客户的良好关系可以获取,而其它供应商则无法获得,导致这些供应商的设计和客户数据中心的实际应用脱节,不符合要求。基于此,Meta、Microsoft、HPE、DELL-EMC主导和组织发布了Datacenter NVMe SSD Specification,链接:https://www.opencompute.org/documents/datacenter-nvme-ssd-specification-v2-0r21-pdf。 现今OCP发展到了2.0版本,成为国外几家云数据中心事实上要支持的标准,同时为企业级SSD厂商理清了数据中心的关键需求。

启动盘方面,当前以成熟的 SATA SSD为主,将来会往PCIe NVMe SSD迁移,原因:第一服务器主板和CPU会逐渐取消SATA接口;第二PCIe NVMe SSD相较SATA有更多的优势。为了统一PCIe NVMe启动盘的需求,OCP发布了启动盘SSD第一份Spec规范:https://www.opencompute.org/documents/hyperscale-nvme-boot-ssd-specification-v1-0-pdf。这份规范为启动盘SSD厂商规定了启动盘所需要的NVMe命令集、PCIe接口配置、可靠性、寿命、性能、安全、调试和FA失效分析等需求。

5. SSD安全规范

SSD作为数据中心存储关键部件,其安全问题一直以来备受重视,OCP 2.0定义了数据中心对SSD的安全规范,给SSD厂商提出明确的需求:

 固件升级签名校验和每次启动时使用密码学进行对称密钥身份验证,防止非法升级固件和非法篡改固件。

 固件版本不能回退,只能向后更新的版本升级。

 用户数据使用XTS-AES-256 or AES-256加密,SSD盘支持Opal v2.01,防止用户数据泄密。

 SSD支持安全启动,如果遇到安全启动失败,用户将不能访问此盘。

 Telemetry和Debug日志,实施安全审查,包括固件代码审查,防止盘上用户数据被窃取。

 SSD出厂后Debug端口被禁止,防止黑客利用Debug端口Hack SSD。

 SSD vendor unique commands一般被禁止使用,只有通过一种使用非对称密码方案的质询响应才能打开。

 任何和SSD安全相关的问题,必须保持私密,和客户确认前不能公开。防止外界或他人了解安全漏洞后进行Hack SSD。

 SSD盘上的用户数据和系统数据,需要在NAND物理上分开存储。

 其他……

6. 特性需求:ZNS等

相比较传统的SSD,近年来出现的ZNS SSD具有特别的几点优势:

 降低SSD TCO ? 零OP NAND,减少DRAM Size。

 提升寿命 ? 减少写放大。

 提高性能 ? 主机控制SSD device-side垃圾回收,极大降低稳态QoS时延和提高写入吞吐量。

 数据隔离 ? 降低多租户因不同数据访问造成的性能和时延的影响。

ZNS SSD在零OP条件下,写放大可以做到近似接近1,相比较7% OP传统SSD,写放大是其1/3。使用ZNS特性的QLC(3K PE) SSD其寿命(DWPD)几乎可以做到等同于传统TLC(7-10K PE) SSD的寿命,但QLC由于一个单元存储4比特位数,相较于TLC成本可以降低20%以上,因此ZNS+QLC SSD可以获得降本的收益。

数据中心一直在追求SSD盘的降本增效,ZNS结合TLC SSD的高性能和QLC SSD大容量特性,在数据中心可能的应用如下:

来源FMS 2022:TLC和QLC ZNS SSD应用场景设想

未来,数据中心会为了应对业务应用新需求、增加新应用、降低存储总拥有成本TCO,使得对于企业级SSD新特性的需求,永远不会停歇。这些新特性需求不仅仅局限于ZNS,而且包括了如CXL、SR-IOV、Stream、CMB、CSD等特性,本文暂不做展开。

7. 采用QLC SSD

目前企业级TLC SSD已经主导数据中心SSD存储部件,QLC NAND及SSD已经推出多年,有一些少量的部署和采用,但距离普及和规模部署还有一段距离,原因大致:一是QLC SSD相较TLC SSD价格差距没到甜蜜点;二是供应商单一;三是相应的上层软件适配和生态没有成熟;四是缺乏灯塔应用标杆项目,所以数据中心都在观望。

但随着更多的供应商提供企业级QLC SSD产品,QLC SSD价格的进一步下探,应用软件和生态的逐渐成熟,并有新的技术如ZNS的结合以减少QLC SSD写放大提升其寿命,以及国内外厂商部署使用QLC SSD的良好案例,像Vast Data带来的示范效应,数据中心越来越多的部署和采用QLC SSD将会成为趋势,毕竟够用、好用及降本是数据中心对存储一直不断追求的目标。

最后,数据中心SSD的未来需求当然不止以上这些,除了一直不变的高性能、低功耗、高可靠性和降本的需求之外,随着CPU平台和SSD相关新技术的出现以及NAND介质的发展,面向数据中心的应用对存储会不断提出新的想法和新的需求,需求落地、优化和推动产品迭代,产生出新的更好的SSD产品。

长江存储一直在持续理解和消化数据中心对SSD的需求、标准和应用,布局企业级SSD产品,基于Xtacking?架构的三维闪存技术NAND,已经推出了包括SE005、PE310等产品。借助Xtacking?架构的优势,实现行业领先的I/O速度、更高的存储密度并提供高品质保障的企业级SSD产品。