华为开发SSD磁带混合存储,应对美国技术限制
华为正在自主研发一种名为Magneto-Electric Disk (MED)的归档存储技术,该技术将固态硬盘(SSD)与华为自研的磁带驱动器结合,提供温数据(近线)和冷数据存储。
华为存储产品线营销副总裁Michael FanJie首次在3月份透露了这项技术。他表示,由于美国技术出口限制可能导致硬盘供应中断,华为正在开发自己的温数据和冷数据存储设备,通过在一个封闭装置中结合SSD、磁带盒和磁带驱动器来实现这一目标。这样一来,华为的存储产品线将涵盖高速(SSD)用于热数据存储,而MED则用于温数据和冷数据存储,完全跳过传统的硬盘驱动器。
目前,MED技术的展示图片显示,这是一种七英寸的设备:
MED是一个密封单元,对外提供类似硬盘的块存储接口,而不是流式磁带接口。在封闭装置内部有两个独立的存储介质设备:一个是带有NAND闪存的固态硬盘,另一个是包括磁带电机、读写头和磁带卷的磁带系统。
这与当前的磁带盒不同,后者通常包含一卷新的磁带,长约1000米,需要加载到单独的磁带驱动器中进行读写。自动加载器包含电机和备用磁带卷,通过机械臂将磁带盒加载到驱动器中。更大的磁带库则使用机器人从数百或数千个存储的磁带盒中选择并运输到磁带驱动器。
MED内部包含一个完整的磁带卷,长度约为LTO磁带的一半,以及电机、读写头和一个空磁带卷。华为工程师可以选择默认情况下将磁带分成两部分,一半在满卷上,一半在空卷上,这样读写头可以位于磁带的中间位置,缩短到达磁带两端的时间。
该系统设计为冷数据的归档存储和温数据的近线存储。数据通过SSD以NAND速度流入MED,然后以顺序流的方式写入磁带。温数据可以从SSD以NAND速度读取,而冷数据则需要从磁带上读取,这可能需要几分钟的时间来定位和移动磁带到正确位置。
MED提供类似硬盘的块接口,SSD控制器中有一个逻辑闪存转换层(FTL),接收传入数据并存储在NAND单元中。然后,一个逻辑磁带转换层将这些数据组装成顺序流并写入磁带。当MED接收到数据读取请求时,控制器系统使用存储在NAND中的元数据映射找到所需的数据块,然后从NAND或磁带中提取数据,并通过MED的IO端口输出。
华为及其中国供应商自主开发了磁带介质和读写技术,不使用IBM的LTO磁带驱动器技术和由富士胶片和索尼制造的LTO磁带介质。磁带长度约为LTO磁带的一半,但具有更高的面密度。MED中的NAND闪存由中国生产,但华为也愿意在条件允许的情况下使用其他供应商的NAND闪存。
MED系统及其组件受专利保护。第一代MED预计将于2025年推出。第二代MED将采用3.5英寸硬盘托盘尺寸,磁带长度更短且密度更高,计划于2026年至2027年推出:
第一代MED将存储72TB的数据,功耗仅为硬盘驱动器的10%。
其总拥有成本将比同等容量的磁带系统低20%。
第一代MED机架将提供8GB/s的传输速率,存储容量超过10PB,功耗低于2kW。
目前尚不清楚72TB的容量是基于原始数据还是压缩数据。MED主要用于归档数据存储,因此不会产生大量热量。MED机箱不需要机器人,可以像密集的JBOD一样填充MED,功能类似于改进的磁带归档系统,提供更快的数据访问速度,更低的功耗和更少的数据中心机架空间占用。
可以预见,未来会有更多或更少NAND存储的MED变体,以满足需要更多温数据存储或冷数据归档的应用需求,从而进一步挤压硬盘市场。实际上,华为正在将存储层次结构从三个元素压缩到两个元素,从“SSD-to-HDD-to-Tape”变为“SSD-to-MED”。
这种两元素的存储层次结构可能更容易管理,更加节能,并且能够更快地访问冷数据。它们不仅可能在因美国限制而硬盘供应受限的地区受欢迎,也可能在其他地方流行,因为它们将使本地数据中心和一级、二级、三级公共云归档存储更加实用。据称,中国的一些公共云供应商已经在与华为讨论使用这项技术。
MED技术可能对使用机器人的磁带自动加载器和磁带库市场产生深远影响,促使这些系统的供应商开发类似的MED技术。MED还可能通过将部分近线数据转移到MED上,从两个方面挤压硬盘市场,增加对硬盘驱动器的压力。
值得注意的是,华为之所以开发MED技术是因为美国的硬盘技术出口限制,而这一创新响应最终可能威胁到西部数据和希捷等西方硬盘制造商。