beat365体育(中国)官网ViP平台-Unified Platform

新闻中心

beat365体育官网平台受邀硅谷FMS2024分享SSD分布式软件架构:探索性能、效率与可靠性的新突破

发布时间:2024-08-09 文章来源:beat365体育官网平台

1.png


2024年8月6-8日,作为全球存储技术领域最具影响力的盛会之一,FMS 2024(the Future of Memory and Storage)于美国加州圣克拉拉会议中心盛大举行。


微信图片_20240829161446.png

beat365体育官网平台AI创新部主任工程师 潘梓丞


beat365体育官网平台AI创新部主任工程师潘梓丞受邀出席,并发表主题演讲《Distributed Software Architecture in SSD》(SSD中的分布式软件架构),分享分布式软件架构如何推动SSD性能、效率和可靠性的极限,与业内人士共同探索计算存储的优势与未来发展。


文件系统SSD,提升数据传输性能与效率


随着PCIe和先进架构在SSD中的崛起,分布式软件架构正在改变计算任务的处理方式。通过将任务从主机系统卸载到SSD,可以显著提高性能和效率。


3.jpg

beat365体育官网平台自研主控芯片STAR2000


凭借STAR2000主控强劲的存内计算性能,beat365体育官网平台独有的文件系统SSD技术将文件系统直接嵌入到SSD固件中,通过自定义FS Command Set,制定了丰富的文件系统接口,实现了与传统架构一样的文件管理功能,减轻主机的文件系统处理压力。


6.jpg


文件系统运行时,内存中有许多目录条目。当发出写文件指令时,系统从根目录开始搜索,经过子目录,最终找到索引节点,然后使用NVMe协议逐块写入数据到SSD中。


7.jpg


为了将文件系统集成到SSD中,我们将其分为两部分:主机控制部分和在SSD内运行的部分。主机部分主要提供目录条目,SSD内部分接收主机命令并执行读写操作。


8.jpg


我们为文件系统SSD提供了一个独特的命名空间,同时主机也可以通过另一个命名空间正常使用SSD。当需要文件系统时,主机通过文件系统接口发出命令,NVMe VU驱动程序将这些命令转换为NVMe VU命令,通过命名空间发送到SSD的前端模块。该模块解析命令后,将其发送到SSD内部运行的文件系统以执行文件读写操作。


9.jpg


文件系统SSD在SSD内部运行,减少了主机CPU的时间占用。通过高速DMA传输数据,减轻了CPU负担,并同步管理文件系统和SSD缓存空间,减少冗余计算和内存开销。


10.jpg


此外,在运行简单管理系统的主机中,可以使用单个文件系统管理多个SSD,提高性能并简化RAID等保护措施的实施。


文件系统SSD与传统文件系统的性能对比


在性能比较中,文件系统SSD在数据传输和CPU负载方面表现优于传统文件系统。


11.jpg


传统文件系统需要主机首先分配缓冲区,然后将数据拷贝到文件系统缓存,最后通过PCIe传输到SSD。而文件系统SSD则直接通过PCIe进行数据传输,减少了缓冲区分配和数据拷贝步骤,提高了数据传输效率。


文件系统SSD利用高速DMA传输数据,减轻了主机CPU的负担,所有任务只需通过发送VU命令即可完成,而传统文件系统则需要主机CPU处理所有任务。


未来的计算存储架构展望


12.jpg


在现有的基础上,我们提出整合一个额外的命名空间以高效管理和执行各种数据库命令。这样,数据库能够直接与SSD内部的文件系统通信,简化数据操作,减少主机和SSD之间的数据传输,从而实现更快速的数据管理系统


13.jpg


随着分布式软件架构在SSD中的不断发展和完善,未来的计算存储架构有望在SSD内部实现更广泛的应用,显著增强其功能。这种先进的架构将使得更多应用能够直接在SSD内部运行,大幅提升数据处理效率,并且为存储设备带来极大的性能改进。


大数据时代,存储设备不仅仅是数据的承载者,更应成为数据处理的核心环节。随着技术的不断创新进步,我们满怀期待,迎接一个更高效、灵活和可靠的存储时代的到来。