数据库自主可控落地在当前没有通用的行业参考,大多数企业缺少同业经验指导,可能发生选型错误,迁移过程中困难重重,成本升高,项目延后等风险。云原生应用创新实践联盟通过课题方向专家组在“数据库自主可控方向”的课题研究,帮助企业加强对自身需求认知、选择合适的自主可控数据库产品、提高对自主可控数据库迁移改造工程的认知。从选型评估、迁移改造、持续运维等各个环节总结经验,帮助企业少走弯路,高效克服难题。本期介绍该课题组阶段性研究成果之一。
国产数据库需求场景评估模型解析
(附评估模型文档工具下载)
| 执笔专家:韩锋 苑华伟
| 顾问专家:卢丽欢 范永清
数据库,作为企业信息基础设施软件之一,承担着企业业务平稳发展及存储着企业重要资产-数据。随着企业业务发展、技术升级、自主可控、降本增效等诉求涌现,都需要对企业内数据库的使用有个全面详尽的了解。为了更好地完成企业数据库使用场景的评估,数据库自主可控课题组专家特准备了评估模型模板,方便用户进行信息收集。这些收集到的信息,将有助于企业完成项目决策、技术评估、成本估算、风险评估等工作。
下文将模板的填写规范加以说明,并在最后附上模板文件。在整个模板,共分为三个大部分,分别是面向企业内数据库不同的关系人。
一、企业数据库现状调研模板
此部分是针对企业数据库使用现状情况的收集。通过这一部分,可对企业数据有个概览性的了解。这部分内容重点突出基础资源和需求分析。
1、企业总览数据
最前面部分,为企业数据库的总览性信息,包括企业的一些自然属性(如企业名称、性质、行业、数据库数量、数据规模和人员规模等)。
2、数据库使用现状
第二部分,为数据库基本情况,按每数据库一行进行填写。主要信息有:
数据库产品:数据库产品名称
如Oracle、MySQL、OceanBase、TiDB等
数据库种类:按数据模型区分,描述数据库种类
如关系型、非关系型(KV、文档、图、宽表等)
实例数:数据库实例数量
根据架构不同计算方式有所差异(集中式按库的数量,分布式按节点数)
部署硬件:数据库底层硬件说明(服务器、虚拟化环境)
如X86服务器、VMWare虚拟机等
部署基础环境:数据库底层基础环境说明
如私有云、公有云、裸金属服务器等
操作系统:所使用的操作系统
如Centos、麒麟、鲲鹏等
高可用架构:数据库高可用架构
如主备架构(一主两备)、双机RAC等
部署站点:数据库部署方式
如单机房、同城双机房、两地三中心等
3、国产数据库需求
第三部分为针对该数据库国产数据库需求描述。根据需要,可能为空。其包括如下信息:
迁移目标:描述迁移的目的
如全量迁移、重要系统迁移、非重要系统迁移等
迁移规划:描述迁移时间规划
如半年、一年、两年等
需求阶段:描述当前所处阶段
如需求调研、选型评估、业务改造、运维上线等
替换理由:描述核心替换的理由
降本增效、支持新功能(如超大规模)、自主可控等
二、企业国产数据库需求评估模版
此部分主要是面向企业内架构师来填写,每个项目填写一行。其包含如下信息:
业务场景
对整体数据库使用场景做个简短描述
业务类型
从数据库角度看待业务的类型,包括OLTP、OLAP、HTAP、其他
TPS
峰值的每秒钟事务数
QPS
峰值的每秒钟查询数
数据量
存量的数据库规模,例如:XXTB/GB
膨胀率
以月/年为单位的数据膨胀率,如年度增长数据为10%
动静态数据比
动静的数据比,静态数据是指基本不在发生变化的数据。
数据结构特征
关系型、KV、文档、图、列簇、宽列等
操作特征
读写比:读写的比例;计算扩展:是否有计算扩展的需求
热点数据
是否有明确的写入特点、查询热点;是否有热点数据重分布的需求
对象支持
支持什么样的对象类型,可多选例如:分片、分区、索引、视图、触发器、存储过程
热点操作
热点操作的典型操作是什么,例如:事务型-点查、事务型-增删改、分析型-三表内关联等等
SQL复杂度
高-有复杂查询(如超过三个表的管理、复杂聚合分析类等);中-有表关联及查询、聚合;低-仅有点查或小范围的索引查询;
接入层
在接入层,有什么特殊需求?如列表所示,例如:负载均衡、FAILOVER、熔断、限流、黑白名单;
连接管理
有什么连接管理的需求?如连接池等
会话管理
有什么会话管理的需求?如查询、删除、审计等
等保级别
是否需要符合等保要求
建设方式
新增/改造,二选一
开发语言
所使用的主要开发语言
开发框架
所使用的主要开发框架
SQL的兼容性
所使用SQL的兼容性、如MysQL、Oracle、PG等
三、企业国产数据需求评估模板
此部分主要是面向数据库运维人员来填写,每个项目填写一行。其包含如下信息:
数据扩展方式
可分为两种,一种为垂直扩展一种是水平扩展。垂直扩展是提高单体的数据承载力,数据库底层存储的扩展。水平扩展是指数据水平拆分后,支持的扩展方式。
数据规模
现存数据规模,是指裸数据(不含副本、备份)等的大小。
并发处理能力
是需要平台提供的并发处理能力,可判断对高并发的需求如何。高>1000;中500~1000;低<500。
数据处理延时
对数据处理的延时性需求,可判断对数据实效性的敏感度。高-毫秒级,中-秒级,低-分钟级。
批处理能力
是否有批量处理的需求,可通过作业数的方式衡量。高>100;中50~100;低<50。
扩展能力
是指用户对其扩展能力的需求,包括计算和存储的扩展。动态是指可在不停服的情况下扩展,静态是需要停服。
弹性伸缩
针对弹性伸缩的时效性要求,高-秒级;中-分钟级;低-小时级。
数据重平衡方式
选择重分片后,数据的平衡方式。动态-数据可自动重分片,无需人工干预;静态-需人工介入。
适合的查询复杂度
功能需求中的查询复杂度。简单-以点查或简单表关联(2表)、聚合等需求为主。复杂-非简单类的查询需求。
适合的写入行为
功能需求中的写入行为。联机-以业务驱动的数据写入方式;批量-以批量方式写入数据。
事务控制
分布式架构下的事务控制。本地-本地事务;分布式事务。
并发控制能力(锁粒度)
表级、块/页级、记录级
典型负载
OLAP、OLTP、HTAP、其他负载类型
分析能力
固定报告、即席分析、数据挖掘等
数据到达实时性
同步到达、异步到达(秒级延迟、分钟级、小时级)
云化能力
物理机、虚拟机、容器化、私有云、公有云
容灾能力
主备复制、自身副本复制、备份恢复等
最大容灾范围
能允许的容灾级别,包括服务器、机房级(AZ)、数据中心级别(地域)、跨地域

顾问专家及同行点评
卢丽欢 数据库自主可控用户委员会委员:文档工具提供了全面丰富的各类技术和非技术指标,帮助企业客户清晰明了梳理现状,然后根据工具提供的方法论和模板,进行需求分析,确定迁移目标,制定迁移计划,指导用户根据不同的业务场景选取对应的国产数据库,非常适合即将或者正在进行国产数据库迁移的企业用户使用。
本文执笔专家简介
twt社区云原生应用创新实践联盟——数据库自主可控方向课题组专家。有着丰富的一线数据库架构、软件研发、产品设计、团队管理经验。曾担任多家公司首席DBA、数据库架构师等职。在云、电商、金融、互联网等行业均有涉猎,精通多种关系型数据库,对NoSQL及大数据相关技术也有涉足,实践经验丰富。曾著有数据库相关著作《SQL优化最佳实践》、《数据库高效优化》。
苑华伟 数据库自主可控用户委员会委员
twt社区云原生应用创新实践联盟——数据库自主可控方向课题组专家。计算机硕士学历,被国际灾备协会授予大师级业务连续性管理专家(MBCP)认证。擅长灾备建设与演练、MQ中间件运维管理、数据库运维管理工作。2010年某重点大学计算机系研究生毕业后,就职于某省农村信用社省联社,工作至今。10余年里先后任大型机系统管理员、灾备管理员、中间件管理员、ESB系统管理员、分布式数据库管理员。曾作为项目经理,带领完成大型机系统升级项目、灾备自动化切换项目、运维自动化平台项目、ESB系统升级项目、国产分布式数据库选型等;作为项目组成员,参与核心系统投产上线、多次数据中心搬迁项目、核心系统下移项目的投产上线。曾在人民银行主办的杂志《金融科技时代》发表过《中型银行主机监控系统的实践探索》、《主机监控系统在中型银行中的建设实践》等论文。
本文顾问专家简介
云原生应用创新实践联盟——数据库自主可控方向课题组专家。长期从事数据库尤其是分布式数据库应用实践工作,具备银行核心系统、互联网聚合支付系统、信贷系统、中间业务等银行关键业务系统采用国产分布式数据库落地实践经验。
范永清 数据库自主可控用户委员会委员
twt社区云原生应用创新实践联盟——数据库自主可控方向课题组专家。20多年银行IT从业经验,目前主要负责厦门银行基础技术架构规划。作为项目的核心人员,曾参与厦门银行同城双中心的规划与建设、重要系统的双活改造。有10多篇文章在《中国金融电脑》、《金融电子化》、《信息网络安全》、《保密科学技术》、《数据通讯》等杂志上发表。
此内容为“云原生应用创新实践联盟——数据库自主可控方向课题组”生产内容,更多内容可扫描下方二维码查看,申请加入“云原生应用创新实践联盟”后可以获取课题组全部内容阅读权限。
云原生为企业数字化转型提供了强大助力,企业越来越多的重要生产业务将迁移至云原生环境。大中型企业IT系统面临以云原生为秩序进行重构。当前,企业IT正处于重构的阵痛期。在信息缺失、矛盾、污染的情况下,用户决策难度大、风险高,严重威胁企业安全生产和投资保护。在众多行业用户强烈呼吁和牵引下,由twt代表用户群体成立“云原生应用创新实践联盟”。联盟聚集各行业先进企业用户专家成立课题专家组,课题专家组与行业用户群体充分协作,集众智、汇众力,为行业用户提供项目落地可信、可靠、可用的关键决策工具和应用参考,最终帮助行业企业群体性地改善云原生应用过程中的困难态势、加速实现数字化转型。