如今，无论是寻常百姓的日常生活，还是千行百业的良好运行，都离不开大数据的保驾护航。作为数字经济的“助推器”，大数据价值已被广泛认可，产业格局已逐步形成，行业秩序日趋完善，大数据产业正在进入高质量发展的新阶段。作为网络强国和数字中国的主要建设者，运营商如何搭建一个坚实、可靠、灵活的大数据底座，事关能否下好大数据的整盘棋，更是意义非凡。
这里，中国移动与华为的联合创新实践，为我们展示了一种全新的探索和思路。
业务与数据的结合，呼唤“湖仓一体”
当前，高性能计算、大数据、人工智能、5G等新技术催生了越来越多的新应用，新兴应用激发非结构化数据快速增长。据IDC发布的相关报告显示，预计到2025年中国数据量将增长到48.6ZB，成为全球最大的数据圈。
爆炸性增长的数据使许多企业面临多重挑战：首先许多企业处于数字化转型初期阶段，缺乏大数据技术工程能力以及获取数据之后的数据资产管理能力；其次，企业缺乏数据开放与共享协作能力，无法用数据持续支撑多业态、无法支持多人员共享协同开发。如何将业务与数据深度结合、用数据驱动业务发展等都是企业数字化转型升级过程中亟待解决的难题。
“中国移动作为全球客户规模最大的运营商，系统规模和数据规模行业领先。依托在大数据领域独特的资源优势，中国移动构建大数据+价值经营体，充分发挥自身的数据、场景、渠道等优势，广泛与外部开展技术、产品以及资本方面的合作，实现能力互补，推动大数据融入千行百业，赋能经济社会数字化转型。”日前，在华为全联接大会以“面向全应用，构建多云时代可靠存储底座”为主题的数据存储峰会上，中国移动信息技术中心副总经理陶涛介绍说。
中国移动依托高用户覆盖率带来的数据优势、丰富的CHBN场景优势以及线上线下一体化的渠道优势，经过20年的不断发展，打造出了符合中国移动特色的一流大数据新型基础设施。
陶涛表示，随着企业数字化发展进程中服务场景的不断增加、服务内容的不断深入，中国移动深刻意识到企业运营、企业决策以及企业发展需要更为广泛的大样本和多样化数据进行综合分析支撑，而大数据时代的数据体量、数据结构与分析的灵活性、时效性出现背离的发展趋势，传统的技术架构与爆发式增长的计算、存储资源需求呈现出愈加明显的不匹配的趋势。
“云原生、大数据、人工智能等新技术催生了越来越多的新应用，业务数据量的爆炸式增长以及业务处理高时效性的挑战，要求IT行业革新数据存储与分析处理能力，打通现有数据湖与数据仓库，将数据湖的灵活性与数据仓库的高效率优势融合起来，‘湖仓一体’架构应运而生。”陶涛表示。
对于“湖仓一体”最直观的描述，业内人士表示，这里的湖就是指数据湖，而仓就好比是湖边根据各种业务需要而建设的小房子，有需要的时候从湖里调用数据，没需要的时候释放数据回数据湖。这样可以最大限度提高数据运行和业务提供的效率。
存算分离，助力“湖仓一体”
此前，大数据技术发展分为两个阶段。
第一阶段，是传统数据仓库时代，企业通过数据仓库为分析决策服务。业务增长不断产生新的数据，企业累积了大量结构化、半结构化、非结构化数据。而数据仓库仍以结构化数据为主，集群规模扩展能力有限，很难超过PB级别，数据仓库的瓶颈逐渐突出。
第二阶段，大量（半）非结构化数据涌现催熟了Hadoop技术和传统数据湖。Hadoop技术的普及，使数据湖开始受到关注，企业开始使用Hadoop技术构建数据湖，处理结构化、半结构化数据，并利用实时数据处理引擎实现数据实时处理。随着数据湖建设逐步推广，一些瓶颈也逐渐暴露出来，Hadoop不仅性能有限，而且事务支持差，无法完全替代数据仓库的业务。
数据量的剧烈增长对企业数据基础设施提出了新的挑战，传统数据湖和数据仓库已经无法满足数据的组织、存储、分析需求。
陶涛介绍，“湖仓一体”是一种充分结合了数据湖和数据仓库二者优势的新型开放式架构。它构建在数据湖低成本的数据存储架构之上，又继承了数据仓库的数据处理和管理功能，打通数据湖和数据仓库两套体系，让数据和计算在湖和仓之间自由流动。作为新一代大数据技术架构，“湖仓一体”将逐渐取代单一数据湖和数据仓库架构。
在中国移动与华为的合作中，关于双方开展了哪些方面的联合创新，陶涛介绍道，“首先在分布式存储方面，湖里新型海量数据的存储面临应用多样化、数据热度提升、数据应用合规、绿色节能等多种挑战，分布式存储凭借支持混合负载、数据融合、数据分级、安全可靠等特性，成为海量新兴数据应用的最佳数据底座。其次在存算分离方面，中国移动与华为数据存储基于大数据存算分离创新技术，构建统一数据底座，共同推进湖仓一体新型开放式架构应用落地，不仅可以构建超大型的数据存储资源池，还可以面向多云提供数据共享能力，让数据在不同的业务系统、平台和环境中无缝移植和高速共享访问。”
面向客户应用的场景，面向客户的真正需求，华为分布式存储可以提供统一数据底座，支持“湖仓一体”架构下多湖协同、湖仓协同、跨域跨云的高效协同数据分析，通过“湖仓一体”和存算分离的设计实现了对于数据的充分采集和本地化、实时化分析，可以进一步推动业务加速，帮助客户更好地迈向数字化时代。
湖仓一体促进数据价值释放
湖仓一体架构采用存算分离的结构，提供统一开放的存储接口，对接多样的计算引擎，通过资源弹性伸缩、灵活规划与部署，在提升企业大数据分析效率的同时有效简化了企业数据基础设施架构。
“中国移动20年的大数据技术发展之路也正是如此。”陶涛介绍说，“目前正在基于分布式协同计算平台的全国九大区域中心，推进湖仓一体技术架构演进。我们完成了存算分离试点，目前正在推进大规模应用。同时打造全局元数据网关产品，实现数据冷温热分级管理，通过统一元数据视图，实现分散在异构存储、异地数据中心的数据统一访问，助力‘东数西算’国家战略工程实施。”
如今，湖仓一体产业正在全方位发挥价值，中国移动正与华为一起持续夯实产业合作，携手来自存储、计算、数据湖、数据仓库、数据服务多领域的伙伴，共同加强关键核心技术攻关，引领产业标准，将湖仓一体技术探索以及建设经验进行广泛推广。发挥其高效数据处理以及经济节能的优势，更好地支撑企业数据存储与分析的同时支持企业优化自身底层数据治理架构，从而帮助企业提升“人效”和“能效”，更精准地抓住商业机会，全面融入国家科技创新布局，促进数据价值释放。
“有些人的步伐与众不同，那是因为他们听到了远方的鼓声。”笔者认为，华为分布式存储可以提供统一数据底座，支持湖仓一体架构下多湖协同、湖仓协同、跨域跨云的高效协同数据分析，进而帮助像中国移动这样的客户统一数据底座，适应多云趋势，构建云上云下一致体验和高效数据共享。对于领航世界一流的中国移动而言，通过湖仓一体和存算分离的设计，实现了对于数据的充分采集和本地化、实时化分析，可以进一步推动业务加速，帮助客户更好地迈向数字化时代，打造出在新的赛道上更领先一步的杀手锏。
