佛山日报信息网依托最权威、最丰富、最及时、多媒体的本地新闻资讯为基础,以凝聚强、互动快、情趣高、影响大的互动传播平台为手段,以政务服务、商务服务、便民服务、增值服务为特色,充分满足网络时代广大群众对信息传播服务的新需求。

主页 > 新闻 > 技术就是这样!还在谈分布式存储?高密度闪存的出现打破其优势!

技术就是这样!还在谈分布式存储?高密度闪存的出现打破其优势!

来源:网络转载更新时间:2020-10-01 16:51:39阅读:

本篇文章2289字,读完约6分钟

近年来,分布式存储架构因其解决了磁盘存储容量、存储性能、存储扩展等问题而受到主流关注。然而,随着闪存介质的几何发展,分布式存储的优势逐渐减弱。想象一下,一个1u全闪存阵列可以轻松实现数千万iops和1pb容量。分布式存储仍然是一个优势吗?

技术就是这样!还在谈分布式存储?高密度闪存的出现打破其优势!

每年的闪存峰会都是闪存领域的一次盛会,其间会有许多新的闪存技术和产品出现,中国企业已经成为闪存产品研发和推广的主要参与者。作为参与者,北京华云互联网科技有限公司(以下简称华云互联网)受邀参加2017年闪存峰会,华云互联网总裁游峰、华云互联网首席技术官等多位高管分享了华云互联网的领先技术和华云互联网afa的核心模块flashtarget,该模块即将开放源代码。

技术就是这样!还在谈分布式存储?高密度闪存的出现打破其优势!

近日,Zhiding.com记者采访了华云互联网首席技术官王金凯,他在2017年闪存峰会上介绍了有关闪存技术和趋势。以及华云互联网如何看待全闪存阵列的技术趋势。

技术就是这样!还在谈分布式存储?高密度闪存的出现打破其优势!

在2017年闪存峰会上,人们关注高密度闪存存储的加速发展。持久记忆的发展与尺度流的影响。比如文章开头的想法?王金凯认为中国市场更注重分布式存储,而北美市场更注重全闪存阵列的趋势。我们可以看到,分布式存储主要解决了数据量大的问题,而分布式存储可以有效地解决数据量大的问题。但现在我们看到nand密度越来越高,1u设备可以实现更高的容量。三星和英特尔都生产了大容量固态硬盘产品。根据nand存储密度的增长速度,将来可以通过一个阵列实现pb级数据。这也让华云互联网思考基于闪存的存储系统的未来会是什么样子。

技术就是这样!还在谈分布式存储?高密度闪存的出现打破其优势!

华云互联网成立于2013年。在其成立之初,就开始思考闪存的发展,并提出了以软件为主、闪存优先的战略。

随着闪存传输速度、容量和性能的快速提高。在采用传统阵列的分布式存储系统中,很难充分发挥闪存的优势。对于全闪存阵列的未来发展,华云互联网首席技术官王金凯表示,首先要在架构上遵循正确的方向。目前,全闪存阵列的主流架构是x86,而基于asic和fpga的全闪存阵列非常少见。目前,它们都是包括纯存储在内的x86,这也是华云互联网的研发方向。华云互联网全闪存阵列的主要硬件架构如下:

技术就是这样!还在谈分布式存储?高密度闪存的出现打破其优势!

上面的两个开关保证了系统的高可用性,下面的一个与两个控制器jbof相连。(全闪存阵列和分布式存储的最大区别在于是否使用双端口硬盘。在分布式存储中,如果一个节点发生故障,重建时间会很长,整个系统的性能会急剧下降。但是,全闪存阵列使用双端口硬盘,并且在控制器出现故障后,仍有一条链路可以访问硬盘,这不会导致特别高的性能下降。(

技术就是这样!还在谈分布式存储?高密度闪存的出现打破其优势!

王金凯认为,未来一切都与以太网连接的趋势是显而易见的,因此,通过光纤将fc跳过到nvme主要是基于以太网。Fc是一种相对较老的技术,是一种相对封闭的生态系统。目前,主流仍然是16g,其发展速度没有以太网快。包括光纤通道在内的网络制造商基本上都在向以太网转型。以太网将是未来非易失性存储器的主要发展方向。

技术就是这样!还在谈分布式存储?高密度闪存的出现打破其优势!

通过这些新的创新,华云互联网独立开发的软件定义架构flashtarget绕过系统管理硬件,支持spdk的nvme驱动程序。借助这些技术,flashtarget可以最大限度地发挥闪存的性能潜力,并将存储系统的性能提升到前所未有的新高度。

技术就是这样!还在谈分布式存储?高密度闪存的出现打破其优势!

为了让上层应用充分感受到闪存的性能优势,华云互联网已经完全简化了整个系统的软件堆栈。对软件栈的极端压缩的最直接影响是系统延迟被大大减少。在flashtarget的支持下,结合华云互联网的实测数据,目标端的延迟可以降低到1微秒(传统的存储阵列层需要数百微秒),而pcie ssd等存储介质的延迟也在几十微秒左右。

技术就是这样!还在谈分布式存储?高密度闪存的出现打破其优势!

值得一提的是,华云互联网与英特尔有着深厚的合作关系,是英特尔存储建设者和英特尔云建设者的成员。以上测试主要通过英特尔固态硬盘实现。英特尔是闪存的主要技术推广者,华云互联网与英特尔有很多合作,包括英特尔最新的奥腾固态硬盘。在测试过程中,华云互联网发现其性能稳定性等方面都非常好,这也是华云互联网的主要选择。

技术就是这样!还在谈分布式存储?高密度闪存的出现打破其优势!

从整个环节来看,flashtarget已经将系统的延迟性能发挥到了极限。基于sas标准的扩展机柜延时为毫秒级。为了最大限度地减少链路延迟,华云互联网设计了一种基于非易失性存储器(nvme)架构技术的新型架构闪存机柜。扩展机柜通过50gb/s roce与控制器相连,配备flashtarget的控制器负责结构上的nvme和pcie上的nvme之间的转换。其直接结果是,访问基于flashtarget的机柜只会增加一个微秒的延迟(3微秒),即使是在数百万iops和数gb/s吞吐量的情况下。

技术就是这样!还在谈分布式存储?高密度闪存的出现打破其优势!

闪存时代的软raid趋势

在磁盘时代,硬盘raid方案很流行,其中大规模集成电路的raid卡是硬盘raid的代表,但所有的raid卡都使用pcie接口,现在高速固态硬盘也使用pcie接口,显然raid必然会成为瓶颈。华云互联网闪存目标通过擦除代码、快照/重复数据删除和远程拷贝/镜像等全闪存核心技术,实现闪存时代的软raid。

技术就是这样!还在谈分布式存储?高密度闪存的出现打破其优势!

未来,flashtarget将实现开源

现在所有的存储方案都需要解决释放闪存性能的问题。要进入下一个时代,闪存必须有与之相匹配的高效软件。王金凯认为,目前还没有开源软件可以做到这一点,这个问题将在一定程度上成为闪存普及的障碍。Flashtarget是afa的核心软件部分,未来将是开源的。华云互联网将利用这一点来促进闪存的生态化发展,在开源的flashtarget之后,华云互联网将会有更多的机会。

技术就是这样!还在谈分布式存储?高密度闪存的出现打破其优势!

因此,我们可以预见,在未来,新的全闪存阵列将成为基于x86开源架构、软件定义存储系统和高密度大容量闪存介质的数据存储管理的选择之一。

标题:技术就是这样!还在谈分布式存储?高密度闪存的出现打破其优势!

地址:http://www.f3wl.com/fsxw/15590.html

免责声明:佛山日报致力于打造最全面最及时的佛山新闻网,部分内容来自于网络,不为其真实性负责,只为传播网络信息为目的,非商业用途,如有异议请及时联系btr2031@163.com,佛山日报的作者将予以删除。

佛山日报网介绍

佛山日报信息网按照省新闻出版局“城市综合信息门户网站”试点工作的相关要求,力争在成为佛山市“最强大的新闻资讯、城市综合信息、消费者(读者)及工商企业信息采集、加工、发布的数据库网络平台,最具品牌影响力和竞争力的网络广告、电子商务及其他增值服务供应平台。”从而获取网络内容产品、广告及增值服务的经营收入,逐步实现自我发展的良性循环,成为佛山未来新的经济增长点,并为佛山新闻数字城市建设和信息化产业的发展贡献一份力量。