暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

如何做好国产数据库需求场景评估?工具来了! | 联盟发布

twt企业IT社区 2022-12-07
398



数据库自主可控落地在当前没有通用的行业参考,大多数企业缺少同业经验指导,可能发生选型错误,迁移过程中困难重重,成本升高,项目延后等风险。云原生应用创新实践联盟通过课题方向专家组在“数据库自主可控方向”的课题研究,帮助企业加强对自身需求认知、选择合适的自主可控数据库产品、提高对自主可控数据库迁移改造工程的认知。从选型评估、迁移改造、持续运维等各个环节总结经验,帮助企业少走弯路,高效克服难题。本期介绍该课题组阶段性研究成果之一。


国产数据库需求场景评估模型解析

(附评估模型文档工具下载)

| 执笔专家:韩锋 苑华伟

| 顾问专家:卢丽欢 范永清


数据库,作为企业信息基础设施软件之一,承担着企业业务平稳发展及存储着企业重要资产-数据。随着企业业务发展、技术升级、自主可控、降本增效等诉求涌现,都需要对企业内数据库的使用有个全面详尽的了解。为了更好地完成企业数据库使用场景的评估,数据库自主可控课题组专家特准备了评估模型模板,方便用户进行信息收集。这些收集到的信息,将有助于企业完成项目决策、技术评估、成本估算、风险评估等工作。

下文将模板的填写规范加以说明,并在最后附上模板文件。在整个模板,共分为三个大部分,分别是面向企业内数据库不同的关系人。

一、企业数据库现状调研模板

此部分是针对企业数据库使用现状情况的收集。通过这一部分,可对企业数据有个概览性的了解。这部分内容重点突出基础资源和需求分析。

1、企业总览数据

最前面部分,为企业数据库的总览性信息,包括企业的一些自然属性(如企业名称、性质、行业、数据库数量、数据规模和人员规模等)。

2、数据库使用现状

第二部分,为数据库基本情况,按每数据库一行进行填写。主要信息有:

  • 数据库产品:数据库产品名称

    如Oracle、MySQL、OceanBase、TiDB等

  • 数据库种类:按数据模型区分,描述数据库种类

    如关系型、非关系型(KV、文档、图、宽表等)

  • 实例数:数据库实例数量

    根据架构不同计算方式有所差异(集中式按库的数量,分布式按节点数)

  • 部署硬件:数据库底层硬件说明(服务器、虚拟化环境)

    如X86服务器、VMWare虚拟机等

  • 部署基础环境:数据库底层基础环境说明

    如私有云、公有云、裸金属服务器等

  • 操作系统:所使用的操作系统

    如Centos、麒麟、鲲鹏等

  • 高可用架构:数据库高可用架构

    如主备架构(一主两备)、双机RAC等

  • 部署站点:数据库部署方式

    如单机房、同城双机房、两地三中心等

3、国产数据库需求

第三部分为针对该数据库国产数据库需求描述。根据需要,可能为空。其包括如下信息:

  • 迁移目标:描述迁移的目的

    如全量迁移、重要系统迁移、非重要系统迁移等

  • 迁移规划:描述迁移时间规划

    如半年、一年、两年等

  • 需求阶段:描述当前所处阶段

    如需求调研、选型评估、业务改造、运维上线等

  • 替换理由:描述核心替换的理由

    降本增效、支持新功能(如超大规模)、自主可控等

二、企业国产数据库需求评估模版

此部分主要是面向企业内架构师来填写,每个项目填写一行。其包含如下信息:

  • 业务场景

    对整体数据库使用场景做个简短描述

  • 业务类型

    从数据库角度看待业务的类型,包括OLTP、OLAP、HTAP、其他

  • TPS

    峰值的每秒钟事务数

  • QPS

    峰值的每秒钟查询数

  • 数据量

    存量的数据库规模,例如:XXTB/GB

  • 膨胀率

    以月/年为单位的数据膨胀率,如年度增长数据为10%

  • 动静态数据比

    动静的数据比,静态数据是指基本不在发生变化的数据。

  • 数据结构特征

    关系型、KV、文档、图、列簇、宽列等

  • 操作特征

    读写比:读写的比例;计算扩展:是否有计算扩展的需求

  • 热点数据

    是否有明确的写入特点、查询热点;是否有热点数据重分布的需求

  • 对象支持

    支持什么样的对象类型,可多选例如:分片、分区、索引、视图、触发器、存储过程

  • 热点操作

    热点操作的典型操作是什么,例如:事务型-点查、事务型-增删改、分析型-三表内关联等等

  • SQL复杂度

    高-有复杂查询(如超过三个表的管理、复杂聚合分析类等);中-有表关联及查询、聚合;低-仅有点查或小范围的索引查询;

  • 接入层

    在接入层,有什么特殊需求?如列表所示,例如:负载均衡、FAILOVER、熔断、限流、黑白名单;

  • 连接管理

    有什么连接管理的需求?如连接池等

  • 会话管理

    有什么会话管理的需求?如查询、删除、审计等

  • 等保级别

    是否需要符合等保要求

  • 建设方式

    新增/改造,二选一

  • 开发语言

    所使用的主要开发语言

  • 开发框架

    所使用的主要开发框架

  • SQL的兼容性

    所使用SQL的兼容性、如MysQL、Oracle、PG等


三、企业国产数据需求评估模板

此部分主要是面向数据库运维人员来填写,每个项目填写一行。其包含如下信息:

  • 数据扩展方式

    可分为两种,一种为垂直扩展一种是水平扩展。垂直扩展是提高单体的数据承载力,数据库底层存储的扩展。水平扩展是指数据水平拆分后,支持的扩展方式。

  • 数据规模

    现存数据规模,是指裸数据(不含副本、备份)等的大小。

  • 并发处理能力

    是需要平台提供的并发处理能力,可判断对高并发的需求如何。高>1000;中500~1000;低<500。

  • 数据处理延时

    对数据处理的延时性需求,可判断对数据实效性的敏感度。高-毫秒级,中-秒级,低-分钟级。

  • 批处理能力

    是否有批量处理的需求,可通过作业数的方式衡量。高>100;中50~100;低<50。

  • 扩展能力

    是指用户对其扩展能力的需求,包括计算和存储的扩展。动态是指可在不停服的情况下扩展,静态是需要停服。

  • 弹性伸缩

    针对弹性伸缩的时效性要求,高-秒级;中-分钟级;低-小时级。

  • 数据重平衡方式

    选择重分片后,数据的平衡方式。动态-数据可自动重分片,无需人工干预;静态-需人工介入。

  • 适合的查询复杂度

    功能需求中的查询复杂度。简单-以点查或简单表关联(2表)、聚合等需求为主。复杂-非简单类的查询需求。

  • 适合的写入行为

    功能需求中的写入行为。联机-以业务驱动的数据写入方式;批量-以批量方式写入数据。

  • 事务控制

    分布式架构下的事务控制。本地-本地事务;分布式事务。

  • 并发控制能力(锁粒度)

    表级、块/页级、记录级

  • 典型负载

    OLAP、OLTP、HTAP、其他负载类型

  • 分析能力

    固定报告、即席分析、数据挖掘等

  • 数据到达实时性

    同步到达、异步到达(秒级延迟、分钟级、小时级)

  • 云化能力

    物理机、虚拟机、容器化、私有云、公有云

  • 容灾能力

    主备复制、自身副本复制、备份恢复等

  • 最大容灾范围

    能允许的容灾级别,包括服务器、机房级(AZ)、数据中心级别(地域)、跨地域

>>>点击文末阅读原文,可立即下载完整文档工具:国产数据库需求场景评估模型文档

顾问专家及同行点评



卢丽欢 数据库自主可控用户委员会委员:文档工具提供了全面丰富的各类技术和非技术指标,帮助企业客户清晰明了梳理现状,然后根据工具提供的方法论和模板,进行需求分析,确定迁移目标,制定迁移计划,指导用户根据不同的业务场景选取对应的国产数据库,非常适合即将或者正在进行国产数据库迁移的企业用户使用。


本文执笔专家简介

韩锋 数据库自主可控用户委员会委员

twt社区云原生应用创新实践联盟——数据库自主可控方向课题组专家。有着丰富的一线数据库架构、软件研发、产品设计、团队管理经验。曾担任多家公司首席DBA、数据库架构师等职。在云、电商、金融、互联网等行业均有涉猎,精通多种关系型数据库,对NoSQL及大数据相关技术也有涉足,实践经验丰富。曾著有数据库相关著作《SQL优化最佳实践》、《数据库高效优化》。

苑华伟 数据库自主可控用户委员会委员

twt社区云原生应用创新实践联盟——数据库自主可控方向课题组专家。计算机硕士学历,被国际灾备协会授予大师级业务连续性管理专家(MBCP)认证。擅长灾备建设与演练、MQ中间件运维管理、数据库运维管理工作。2010年某重点大学计算机系研究生毕业后,就职于某省农村信用社省联社,工作至今。10余年里先后任大型机系统管理员、灾备管理员、中间件管理员、ESB系统管理员、分布式数据库管理员。曾作为项目经理,带领完成大型机系统升级项目、灾备自动化切换项目、运维自动化平台项目、ESB系统升级项目、国产分布式数据库选型等;作为项目组成员,参与核心系统投产上线、多次数据中心搬迁项目、核心系统下移项目的投产上线。曾在人民银行主办的杂志《金融科技时代》发表过《中型银行主机监控系统的实践探索》、《主机监控系统在中型银行中的建设实践》等论文。

本文顾问专家简介

卢丽欢 数据库自主可控用户委员会委员

云原生应用创新实践联盟——数据库自主可控方向课题组专家。长期从事数据库尤其是分布式数据库应用实践工作,具备银行核心系统、互联网聚合支付系统、信贷系统、中间业务等银行关键业务系统采用国产分布式数据库落地实践经验。

范永清 数据库自主可控用户委员会委员

twt社区云原生应用创新实践联盟——数据库自主可控方向课题组专家。20多年银行IT从业经验,目前主要负责厦门银行基础技术架构规划。作为项目的核心人员,曾参与厦门银行同城双中心的规划与建设、重要系统的双活改造。有10多篇文章在《中国金融电脑》、《金融电子化》、《信息网络安全》、《保密科学技术》、《数据通讯》等杂志上发表。



此内容为“云原生应用创新实践联盟——数据库自主可控方向课题组”生产内容,更多内容可扫描下方二维码查看,申请加入“云原生应用创新实践联盟”后可以获取课题组全部内容阅读权限。


关于“云原生应用创新实践联盟”

云原生为企业数字化转型提供了强大助力,企业越来越多的重要生产业务将迁移至云原生环境。大中型企业IT系统面临以云原生为秩序进行重构。当前,企业IT正处于重构的阵痛期。在信息缺失、矛盾、污染的情况下,用户决策难度大、风险高,严重威胁企业安全生产和投资保护。在众多行业用户强烈呼吁和牵引下,由twt代表用户群体成立“云原生应用创新实践联盟”。联盟聚集各行业先进企业用户专家成立课题专家组,课题专家组与行业用户群体充分协作,集众智、汇众力,为行业用户提供项目落地可信、可靠、可用的关键决策工具和应用参考,最终帮助行业企业群体性地改善云原生应用过程中的困难态势、加速实现数字化转型。


文章转载自twt企业IT社区,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论