量变引发质变的规律,在数字经济时代同样适用。海量数据大爆发,将给ICT基础设施带来彻底改变,扮演核心角色的云和互联网数据中心首当其冲。
IDC咨询发布的报告显示,2021年全球数据量约有80ZB,到2025年这一数字预计将飙升至180ZB。其中,直接或间接产生于云和互联网数据中心的数据占比处于绝对领先地位。
数据的几何级数增长,使云平台正在经受大量工作模式和关系模型变化造成的冲击,多云和混合云日益崛起,数据中心的生态渐趋复杂,多元数据应用更是需求各异,存储系统面临兼容性、性能、安全等诸多挑战。
目前,云和互联网数据中心普遍采用存算一体的架构,基于“开源软件+通用服务器”搭建存储系统,服务器上的多样化处理器和数据生命周期不一致,计算和存储资源无法独立规划扩展——存储系统被迫跟随计算体系的节奏进行更新换代或数据迁移,导致资金浪费的同时,也增加了安全隐患。
更值得关注的是,为了追求可靠性,很多云和互联网数据中心只好使用3副本保证数据安全,机柜空间浪费高达67%,建设成本和能耗大幅提升;在HPC(高性能计算)场景,元数据规模大、存储性能要求高,服务器本地盘需存算等比扩容,而已满盘的高性能存量服务器无法继续扩容,个中烦恼可想而知。
相关统计表明,大规模数据中心本地盘数量通常超过10万个,海量硬盘的健康管理已成为头号难题。是否可以打破存算一体的桎梏,让存储系统根据客户需求相对独立地发展?能否摆脱硬盘介质的束缚,找到一条更加灵活、轻盈的存储路径?
在近日深圳举办的华为全联接大会2022上,华为推出业界首个面向数据中心Diskless架构的微存储——华为OceanStor Micro系列,用专业存储能力助力云和互联网数据中心实现绿色节能、高性能、高可靠。
显而易见,华为微存储有望重新定义下一代云和互联网数据中心服务器架构,匹配数据海量增长和持久保存的需求。这是微存储产品划时代的新起点,也是Diskless颠覆之路的里程碑。
如果你对Diskless感到陌生,那么可以从耳熟能详的Serverless寻找其演变轨迹。
Serverless曾被寄予厚望,伯克利团队甚至预言其将引领云计算的下一个十年。Serverless的“无服务器”并非“没有服务器”,而是说用户不必在服务器配置、维护、更新、扩展和容量规划方面耗时费力,可以将更多的精力放到业务逻辑上。
用户不做的事要交给专业的人去做,云厂商自然责无旁贷。弹性部署与资源池化本就是云厂商擅长的领域,Serverless进一步提供了“摆脱”服务器天马行空的可能。
当然,现实情况更为复杂。云厂商很快发现,在算力上挖掘资源潜力的既有做法已遇到瓶颈,存储成为最大的短板,存算一体衍生的众多难题无法破解。
面对存储痛点,整个业界都在积极探索突围之道,存算分离、池化运行、共享应用等思路与做法逐渐浮出水面,“Computation on Diskless”(无盘计算)成为新的目标。
与其说Diskless是Serverless的“救兵”,不如将其置于更恢宏的背景,审视存储产品的突破对数据基础设施全面升级的重大价值。
从早期计算、网络、存储简单集成的基础架构,到基于服务器构建的超融合架构,再到面向未来的CDI(Composable Disaggregated Infrastructure)架构,存储挣脱“盘”和“服务器”的限制已成大势所趋。来自产业链不同环节的企业纷纷投入到Diskless的创新热潮中,业界期待具有标志性意义的产品脱颖而出。
尽管Diskless的发展方向得到广泛认可,但从前沿概念到产品化,还有很长的路要走。不少尝试都夭折在研发和试验阶段,由0到1的产品标杆“犹抱琵琶半遮面”。
从这个意义上讲,华为OceanStor Micro微存储可谓“千呼万唤始出来”。它是业界首个面向Diskless架构的存储新贵,是为云和互联网海量数据存储而生的池化存储全新系列产品——以高速数据总线连接Diskless服务器,实现弹性灵活的存算分离架构,帮助用户提高资源利用率,减少运维成本,解决在投资紧张情况下获得高性能、高可靠存储的难题。
作为存储“新物种”,华为OceanStor Micro微存储要行稳致远,需要具备多维度的竞争优势,才能协助云和互联网数据中心实现真正的“存储自由”。
绿色集约是化解客户痛点的首要武器。华为微存储面向Diskless服务器架构设计,发挥存算分离的优势,计算和存储独立弹性拓展,避免以服务器为单位的等比扩容造成资源过配置;通过场景化数据缩缩减编码等关键技术,显著提升用户可得容量,与本地盘3副本的方式相比,机柜空间和设备能耗节省40%。
高性能让心存疑虑的客户吃下“定心丸”。华为微存储通过FLASHLINK® 盘控协同算法等软硬结合技术,发挥闪存极致性能,实现40GB/S带宽、100万IOPS,性能提升30%。
高安全可靠解除客户的后顾之忧。华为微存储采用双控Active-Active架构,控制器间负载均衡,秒级切换,故障0感知,业务高可用;结合硬盘亚健康管理、慢盘智能优化(慢IO快速返回/慢盘隔离)等多重可靠性技术,实现系统级可靠,数据盘故障可预测、可视可管,大幅降低运维难度。
高易用性是帮助客户化繁为简的良方。华为微存储通过性能无损的NOF+网络实现与Diskless服务器之间的高速连接,将复杂的数据存储能力卸载到微存储,像本地盘一样易用,无缝对接Ceph、Lustre等开源平台。除网络适配外,应用无需对上层开源平台做改造,简化了分布式软件的开发并实现其性能加速。
华为微存储本质上是传统盘框的智能化升级。对云和互联网厂商而言,数据快速增长的挑战与降本增利的诉求将长期并存。顺应Diskless趋势,采用微存储这样的数据中心标准化新组件,可以缓解发展进程中持续上升的成本压力。
微存储产品的横空出世,是一个好的开端,而扎根于CDI沃土的Diskless将绽放出更多精彩。根据IDC咨询的预测,数据中心对CDI架构的采用将以每年近60%的速度增长,2023年市场规模将达34亿美元。
CDI架构大行其道,将使数据中心从CPU的约束中解放出来,显著提升计算、存储资源的利用效率。以英伟达和英特尔为代表的芯片厂商,都在基于CDI架构进行产品创新和生态布局。
例如:英特尔推动Diskless技术在云基础设施中发挥更大作用,促进基础设施与租户应用分离,通过基础设施卸载释放CPU算力,借助服务器Diskless实现存储按需扩展。
除芯片厂商外,系统架构、存储、内存等产业链相关环节的厂商也在积极行动,推动Composable+资源共享池化技术快速发展。
由此可见,Diskless赛道是典型的厚雪长坡,率先取得产品化突破的华为将参与产业生态的构建,共同勾勒Diskless未来的美好图景。