中科院软件学报-面向开放大数据环境的动态数据保护系统.pdf
免费下载
软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
Journal of Software, 2023,34(3):12131235 [doi: 10.13328/j.cnki.jos.00 6783] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563
面向开放大数据环境的动态数据保护系统
屠要峰
1,2
,
牛家浩
2
,
王德政
1,2
,
高
洪
2
,
徐
进
2
,
洪
科
2
,
阳
方
2
1
(移动网络和移动多媒体技术国家重点实验室(中兴通讯股份有限公司), 广东 深圳 518057)
2
(中兴通讯股份有限公司, 江苏 南京 210014)
通信作者: 牛家浩, E-mail: niu.jiahao@zte.com.cn
摘 要: 大数据成为国家基础性战略资源, 数据的开放共享是我国大数据战略的核心. 云原生技术和湖仓一体架
构正在重构大数据基础设施, 并推动数据共享和价值传播. 大数据产业和技术的发展都需要更强的数据安全和数
据共享能力. 然而, 开放环境下数据的安全问题已成为制约大数据技术发展与利用的瓶颈. 无论开源大数据生态
还是商业大数据系统, 所引发的数据安全及隐私保护问题都日益凸显. 开放大数据环境下的动态数据保护系统面
临着数据可用性、处理高效性和系统可扩展性等方面的挑战. 提出了面向开放大数据环境的动态数据保护系统
BDMasker, 通过一种基于查询依赖模型(query dependency model)的精准查询分析及查询改写技术, 能够精准感知
但不改变原始业务请求, 实现动态脱敏全过程对业务零影响; 通过面向多引擎的统一安全策略框架, 实现了动态
数据保护能力的纵向扩展和在多种计算引擎中的横向扩展; 利用大数据执行引擎的分布式计算能力, 提升系统的
数据保护处理性能. 实验结果表明, BDMasker 提出的精准 SQL 分析及改写技术是有效的, 系统具有良好的扩展能
力和性能表现, 在 TPC-DS 和 YCSB 基准测试中, 整体性能波动在 3%之内.
关键词: 大数据; 数据脱敏; 动态数据脱敏; SQL 改写; 查询依赖
中图法分类号: TP311
中文引用格式: 屠要峰, 牛家浩, 王德政, 高洪, 徐进, 洪科, 阳方. 面向开放大数据环境的动态数据保护系统. 软件学报,
2023, 34(3): 1213–1235. http://www.jos.org.cn/1000-9825/6783.htm
英文引用格式: Tu YF, Niu JH, Wang DZ, Gao H, Xu J, Hong K, Yang F. Dynamic Data Protection System for Open Big Data
Environment. Ruan Jian Xue Bao/Journal of Software, 2023, 34(3): 12131235 (in Chinese). http://www.jos.org.cn/1000-9825/
6783.htm
Dynamic Data Protection System for Open Big Data Environment
TU Yao-Feng
1,2
, NIU Jia-Hao
2
, WANG De-Zheng
1,2
, GAO Hong
2
, XU Jin
2
, HONG Ke
2
, YANG Fang
2
1
(State Key Laboratory of Mobile Network and Mobile Multimedia Technology (ZTE Corporation), Shenzhen 518057, China)
2
(ZTE Corporation, Nanjing 210014, China)
Abstract: Big data has become a national basic strategic resource, and the opening and sharing of data is the core of China’s big data
strategy. Cloud native technology and lake-house architecture are reconstructing the big data infrastructure and promoting data sharing
and value dissemination. The development of big data industry and technology require stronger data security and data sharing capabilities.
However, data security in an open environment has become a bottleneck, which restricts the development and utilization of big data
technology. The issues of data security and privacy protection have become increasingly prominent both in the open sour ce big data
ecosystem and the commercial big data system. Dynamic data protection system under the open big data environment is now facin g
challenges of data availability, processing efficiency and system scalability and etc. This study proposes a dynamic data protection system
BDMasker for the open big data environment. Through a precise query analysis and query rewriting technology based on the quer y
dependency model, it can accurately perceive but not change the original business request, which indicates that the whole process of
基金项目: 国家重点研发计划(2021YFB3101100)
本文由“大数据治理的理论与技术”专题特约编辑杜小勇教授、杨晓春教授和童咏昕教授推荐.
收稿时间: 2022-05-14; 修改时间: 2022-07-29, 2022-09-07; 采用时间: 2022-09-23; jos 在线出版时间: 2022-10-27
1214
软件学报 2023 年第 34 卷第 3 期
dynamic desensitization has zero impact on the business. Furthermore, its multi-engine-oriented unified security strategy framework
realizes the vertical expansion of dynamic data protection capabilities and the horizontal expans ion among multiple computing engines.
The distributed computing capability of the big data execution engine can be used to improve the data protection processing p erformance
of the system. The experimental results show that the precise SQL analysis and rewriting technology proposed by BDMasker is effective,
the system has good scalability and performance, and the overall performance fluctuates within 3% in the TPC -DS and YCSB benchmark
tests.
Key words: big data; data masking; dynamic data masking; SQL rewriting; query dependency
大数据时代, 大数据成为国家基础性战略资源. 党中央、国务院高度重视大数据发展, 开始全面实施国家
大数据战略, 其中, 数据的开放共享是大数据竞争战略核心. 从技术发展趋势看, 新的技术架构和大数据支撑
平台不断涌现, 云原生、湖仓一体架构正在重构大数据基础设施. 无论从访问数据湖、数据仓库到跨数据库、
跨域共享, 都需要更强的数据安全和数据共享能力. 然而, 无论开源大数据生态还是商业大数据系统, 对于开
放环境下大数据的安全保护能力都是严重落后于业务发展的. 近些年发生的隐私泄露事件都表明, 未经过脱
敏处理的数据发布或者共享很容易泄露数据隐私, 特别是个体敏感信息. 2018 年, 美国社交媒体 Facebook 的
8 700 万用户数据被咨询公司剑桥分析公司违规使用, 被判赔付 50 亿美元罚金; 2021 年, Facebook 又有 5.33
亿个人用户数据遭泄露. 开放环境下的安全问题, 已成为制约大数据技术发展与利用的瓶颈. 如何在开放的
复杂环境下保护敏感数据的隐私性, 同时保证数据的可用性和计算的高效性, 成为大数据安全领域的研究热
点之一
[1,2]
.
开放大数据环境下的数据安全与传统数据安全有很大的不同, 保护方式、保护对象、管理和技术的关系
均发生了变化. 开放大数据应用场景以数据的开放共享为目标, 参与数据处理的角色更加多元, 数据的流动
是常态, 这对数据的安全防护提出了更高的要求, 数据加密、静态脱敏等传统的数据安全措施已不再适用. 研
究表明, 采用隐私保护与动态数据脱敏技术, 是促进数据安全流通与共享、确保大数据服务可信的重要手
段
[3,4]
.动态数据脱敏技术可以在数据流动过程中不泄露敏感信息, 同时保留数据源的可用性, 具有较好的使
用价值和广阔的应用空间. 在开放大数据环境下, 面对海量多模数据和高并发访问请求, 如何以自动化、高
效、可扩展方式动态保护敏感数据, 同时减小对正常业务的影响, 是一个十分复杂但亟待解决的问题
[57]
. 面
临的主要挑战有:
(1) 异构环境的扩展性. 开放大数据场景下, 为了满足不同的数据查询、数据计算的时效性要求, 在同
一套集群上往往同时部署多种大数据计算引擎, 如 Apache Spark
[8]
适合延时较高的静态数据批量处
理场景、Apache Flink
[9]
适合低延时或实时的流数据处理场景等. 面对复杂多元的业务场景和多种计
算引擎, 需要研究如何创建、管理和维护面向异构引擎的统一数据保护策略, 并提供标准化的访问
方法, 解决异构环境的横向扩展问题. 同时, 除了动态数据脱敏能力外, 需要研究如何在一套框架
下同时灵活支持多种动态数据保护能力, 支持单个引擎动态数据保护能力的纵向扩展.
(2) 处理性能的高效性. 开放大数据环境下, 数据的产生速度越来越快, 数据规模持续指数级增长. 数
据安全防护要满足海量数据高性能实时保护的响应时间要求, 就必须能够在规则的引导下自动化
进行, 还要能够对全处理流程进行负载优化, 充分利用大数据执行引擎的分布式计算能力, 提升处
理性能.
(3) SQL 改写的精准性. SQL 是广泛采用的数据查询语言, 目前, 主流的大数据计算引擎均提供 SQL 访
问能力. SQL 改写是实现动态数据脱敏的关键技术. 业务领域的 SQL 请求千变万化, SQL 改写机制
会涉及所有定义了脱敏策略的列, 复杂 SQL 语句改写后可能会造成数据失真, 降低数据可用性,甚
至影响业务逻辑处理的准确性. 当面对复杂的 SQL 访问请求时, 如何保证改写后的 SQL 在不暴露
底层物理表敏感信息的前提下对业务完全透明, 使得业务逻辑不受数据保护的影响, 对动态数据保
护系统设计, 尤其是 SQL 改写技术提出了挑战. 下面以图 1 所示 TPC-DS
[10]
的 Query76 查询语句为
例, 对 SQL 改写的技术难点进行说明. Query76 覆盖了 SQL 语句中大部分重要语法规则.
of 23
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论