分布式存储变得越来越“硬”:为什么软硬结合占了上风？

C114-12月12日专篇(江穆钧)称，软件定义的存储变得越来越“硬”。

近年来，关于分布式存储的两种发展理念，即“硬软解耦”和“硬软集成”，一直存在很大争议。两者都有自己的支持者。然而，随着时间的推移，后者似乎逐渐占上风。EMC、HDS、华为以及阿里、浪潮、VMware、Azure和XSKY等其他分布式存储系统供应商都推出了集软件和硬件于一体的产品。在今年一些重要的分布式存储采购项目中，如中国移动块存储和文件存储、米高对象存储、招商银行大数据存储、深圳政府云建设等，软硬件集成也成为主流。

为什么硬去耦和软去耦以及硬集成和软集成之间会有差异？为什么软硬件集成越来越受欢迎？分布式存储的未来是“长期集成”还是“长期集成”？通过与一些专业人士的交流，笔者试图在此做一个简单的分析。

分布式存储的前世

数字经济的兴起和整个行业数字化进程的加快，使得数据成为一种新的生产手段，其重要性日益增加。5G、人工智能、物联网等新兴数字技术的发展也带来了指数级的数据增长。国际数据中心预测，到2025年，全球数据量将达到175ZB。在此驱动下，数据基础架构开始了新一轮升级，存储系统正日益从集中式转向分布式。

然而，随着分布式存储技术和市场的成熟，近年来，业界的焦点已经从“您想上去吗”转移到“哪些场景适合上去”和“如何部署”等方面。对于是采用硬-软解耦模式还是硬-软集成模式，也有不同的看法。这种情况的形成可以从分布式存储的发展及其背后复杂的驱动力来解释。

20世纪90年代，特别是2000年以后，互联网的蓬勃发展推动了数据存储领域的变革。谷歌提出并实现了分布式存储的概念，即在通用服务器和分布式软件的基础上形成大规模分布式集群，以处理互联网搜索服务的海量数据。随着谷歌应用的发展和业务快速发展的迫切需要，分布式架构已经成为互联网企业存储建设的实际标准。互联网公司习惯于购买通用硬件和自行开发和维护软件，从而形成分布式存储硬件和软件脱钩的历史事实。

2010年后，传统企业的数字化转型带来了海量数据，企业对分布式存储的需求开始显现。越来越多的软件制造商，包括红帽和VMware，也开始关注存储领域快速增长的市场空，希望从中分一杯羹。也有许多软件制造商由于缺乏自己的硬件能力，遵循软硬分离模式来降低存储行业的进入门槛。对于芯片和服务器制造商来说，硬、软解耦会消耗大量的服务器，推动对中央处理器的需求，所以他们也愿意推动硬、软解耦来扩大其影响力。

与此同时，传统存储制造商也推出了一系列分布式存储产品，侧重于如何基于分布式架构和软硬件集成能力来应对企业客户的海量数据挑战。典型代表，如EMC、华为、NetApp等。

由此可见，关于软硬脱钩和软硬结合的争论更多是由利益驱动的。

为什么软硬结合逐渐占上风

分布式存储硬解耦和软解耦的“政治正确性”、分别占据一端的“硬解耦和软解耦”和“硬集成和软集成”以及现在在制造商阵营和市场份额方面占据上风的“硬集成和软集成”背后的逻辑是什么？

软硬解耦构建模式在互联网行业流行的最重要原因之一是互联网企业拥有强大的技术储备和根据自身需求开发分布式存储软件的能力，所以只需要购买服务器。然而，其他行业很少有企业有能力这样做。此外，如果没有巨大的需求，开发和维护的边际成本会非常高。

另一方面，互联网公司本身也开始努力存储硬件，通过软硬件结合的深度优化，打造差异化竞争力。例如，AWS从以色列收购E8，阿里在云人居会议上推出了名为皮秀(Pi Xiu)和泰山全闪存硬件的高密度存储硬件，百度云盘也采用定制的ARM硬件来提高可靠性和可维护性。

当传统企业采用分布式存储时，他们需要的是分布式存储的高扩展性，而不是实现这一点的具体手段。软硬产品更加省心省力。尽管软件和硬件去耦声称具有各种好处，例如避免供应商锁定，但它本质上等同于将最初由存储供应商完成的一系列任务(例如软件和硬件匹配以及优化测试)转移到企业。它不仅在性能上不如专业存储设备，而且增加了变相部署和维护的难度，并增加了总拥有成本。

从存储制造商的角度来看，由于兼容性问题，软件和硬件的分离常常会在交付和维护中带来许多问题。同时，为了满足通用性的需要，不可能优化硬件。就商业而言，软件和硬件的单独采购以及纯软件的低价值认可带来的好处远不如服务器制造商。软硬一体化模式有利于提高交付和维护效率，展示性能和可靠性方面的技术优势，扩大市场参与空。从最近举办的2019年中国存储与数据峰会分布式存储与应用子论坛，也可以看出，如何使用硬件使分布式存储更高效已经成为制造商描述的焦点。

目前还很难确定分布式存储将来是否会完全转向硬件和软件的集成，但两者的趋势已经出现。事实上，俗话说，“不管猫是黑是白，抓老鼠都是好猫”。无论软硬件是解耦还是集成，能够满足政府和企业核心需求、解决海量数据挑战的存储方案都是一个很好的方案，对吗？