专题丨基于 DataOps 的运营商大数据平台探索

基于 DataOps 的运营商大数据平台探索

肖文彬¹  李雨霏²  张湛梅¹

（1. 中国移动通信集团广东有限公司，广州 510000；2. 中国信息通信研究院云计算与大数据研究所，北京 100191）

摘要：在数字经济时代下，数据成为运营商的核心资产，DataOps是释放数据价值的有效模式，而大数据平台是实现DataOps的技术基础。通过对DataOps与大数据平台的发展进行梳理，阐述了DataOps的内涵，提出DataOps应用于运营商大数据平台的方法，并构建了基于DataOps的运营商大数据平台架构。

关键词：DataOps；大数据平台；敏捷数据交付；智能数据治理；数据资产运营

中图分类号：TP309.2      文献标志码：A

引用格式：肖文彬, 李雨霏, 张湛梅. 基于DataOps的运营商大数据平台探索[J]. 信息通信技术与政策, 2022,48(2):55-60.

DOI：10.12267/j.issn.2096-5931.2022.2.009

0  引言

十九届四中全会首次将“数据”增列为一种生产要素，数据要素所引发的生产要素变革，正在重塑企业的生产方式和商业模式，如何充分发挥数据要素的价值是数字经济时代下企业关注的焦点。对于通信运营商而言，其数据具有规模大、来源广、准确度高等特点，作为基础通信数据赋能多行业数字化发展，对数据质量水平和数据生产效率提出了更高要求。DataOps通过引入敏捷交付、智能治理、资源运营的理念与方法，指导企业建立生产级的大数据中心，加快数据开发流程，提升数据应用效率，构建数据资产价值闭环。

1  DataOps与大数据平台的发展现状

1.1  DataOps的演进

DataOps强调数据团队的敏捷协作和持续提升。Lenny Liebmann^[1]首次提出DataOps的概念，他认为DataOps是优化数据科学和运营团队之间协作的一系列实践集。2018年，Gartner将DataOps列入了Data Management（数据管理）的技术成熟度曲线，Gartner认为DataOps是一种协作数据管理实践，专注于改善整个组织中数据管理者和数据消费者之间数据流的通信、集成和自动化^[2]。中国信息通信研究院在《大数据白皮书(2021)》^[3]中将DataOps定义为数据管理的升级，强调构建从数据生产端到数据消费端的数据流，实现静态数据管理与动态数据流的融合，而这一融合过程通过“开发治理一体化”实现。

DataOps是对DevOps在数据领域的延伸。DevOps是IT领域的概念，强调IT建设和软件开发的敏捷性、协作性，并通过构建软件开发的价值流、提高软件开发的自动化水平实现。DataOps借鉴了DevOps理念中敏捷快速、持续集成的关键点，强调通过调整文化、流程和使用的工具，在安全合规的前提下，快速提升业务价值，同时将持续迭代数据架构，不断强化组织的数据思维。

1.2  大数据平台的发展现状

大数据技术体系的核心是面向海量数据的存储、计算、处理等基础技术。从20世纪70年代的关系型数据库到20世纪80年代末专门面向数据分析决策的数据仓库，从2000年初的面向非结构化数据的NoSQL数据库、分布式存储计算架构到移动互联网时代下的数据湖、云原生数据仓库，大数据技术体系逐步成熟，以支持海量异构数据的实时性处理要求。

随着数据量的爆发式增长、企业数字化转型的驱动，大数据平台从基本的面向海量数据的存储、处理、分析等需求延展到相关的管理、流通、安全等其他需求，逐渐形成了一整套大数据平台体系，成为企业数据能力建设的基础设置。伴随着技术体系的完善，大数据平台开始向降低成本、快速交付的方向发展。

2  DataOps对于运营商大数据平台的必要性

2.1  运营商大数据平台面临的挑战

工业和信息化部发布的《“十四五”信息通信行业发展规划》^[4]提出深化大数据融合应用创新，推进大数据与云计算、人工智能、区块链等技术的深度整合应用，加快企业数字化改造升级和数据开放合作，加速推进数据价值化。此外，预计到“十四五”末^[4]，每万人拥有5G基站数达到26 个，是2020年的5.2 倍，通信网络终端连接数将超45 亿个，5G用户普及率将超过56%，这将推动物联网的广泛应用，带来用户数量和数据规模的激增，催生丰富的数据应用场景。

然而，传统的运营商大数据平台在支撑企业数字化转型、持续释放数据价值的过程中仍存在不少挑战，主要集中在数据生产、数据服务、数据运营三个方面。

（1）数据开发敏捷性不足：数据端到端开发暂未实现完全的自动化，在需求分析、数据设计、数据开发、数据测试、数据上线、数据运维等环节存在大量人工操作，导致人力资源成本加大，难以满足数据需求方交付时效性要求。

（2）数据服务复用性薄弱：在传统的数据服务模式下，数据服务相对松散，缺少统一的数据服务目录管理，导致数据服务共享、复用难。此外，数据服务标准不统一，难以面向全域实现开放共享。

（3）数据资产运营体系不完善：由于缺少对数据资产的价值评估，不利于数据资产上线后的良性持续迭代，“数据资产上线—价值评估—持续迭代”的闭环运营能力不足。

2.2  DataOps应用于运营商大数据平台的方法

面对数据交付效率不高、数据运营体系不完善等问题，通过引入DataOps打破传统交付和运营之间的隔阂，加速数据交付效率，提高数据质量，以适应飞速发展的客户需求和市场变化。在此基础上，DataOps覆盖集成、开发、测试、运营的数据全生命周期，同时关注数据资产价值的实现，从原始数据需求到开发交付和持续运营，通过数据价值反馈到流程上改进优化，从而形成数据价值驱动的全生命周期闭环管理，构筑企业数字化转型的核心竞争力。

基于DataOps的敏捷大数据平台，围绕在线化、编排化、自动化及智能化等能力建设，将显著提高数据生产效率，并持续改进流程，使企业更加灵活、动态、自组织地生产和提供数据服务，与合作伙伴深度协助实现生态构建及价值共创。随着数字经济的快速发展，以“DataOps”为核心优势的大数据平台建设将为企业持续创造数据增量价值，提高企业对市场变化的响应效率，并使他们能够更快地应对数字化挑战。

3  基于DataOps的运营商大数据平台架构

基于DataOps方法打造一套成熟稳定的从数据开发、运维到运营的工具，可以满足差异化的多重管理与生产要求，并依托一线业务需求与客户现状特征，打造敏捷大数据平台，能有效桥接前后台并调和节奏、赋能前台敏捷迭代、快速响应市场和客户（见图1）。

本文刊于《信息通信技术与政策》2022年 第2期

主办：中国信息通信研究院