暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

石原子数仓资源扩容方案——贵州某县级医共体项目最佳实践

石原子科技 2023-12-28
93

项目基本情况


客户名称:贵州某县级医共体项目
组织范围:人民医院,中医医院,妇幼等6家医院
业务范围:基于患者360全域数据治理
上线时间:2023年6月
项目概况聚焦某县级医共体建设,基于数字化标识、自动化感知、网络化连接、智能化控制、平台化服务等技术能力构建医共体监管平台,通过设立医共体建设评判标准和监测指标体系,一方面提升当地医院的管理效能,另一方面,提升医疗资源利用率和基层医疗卫生服务能力,促进全县医共体创新型医疗健康服务体系发展。该县级医共体监管指标涵盖35大类及498细项,监管指标将跟随业务要求不断丰富与迭代,进一步延伸医共体监管边界。


现有数仓资源评估


2.1 基本情况
i. 部署情况
RC:16c 64G 100GB
Worker:16c 64G 1.7TB
软件:StoneData1.2.2.9

ii. 数据现状

说明:

数据增长:数据表总数量增加较小(按照年约5%比例增加),数据量会有增加


数据规模:DWD表数据表:总共115张表,使用了56表;总共222GB;预计镇医院的DWD表会占用130GB ~= 222GB * (150)/ (118+137+10)磁盘空间。


现有数据统计:

iii. 计算情况
现状:
  • 目前,所有计算均为离线计算。
  • 任务情况:人民医院、妇幼、中医院大约300个job/day。

  • 执行计划:
  • 从原始数据—>ODS:凌晨12点开始,凌晨3点左右结束;
  • ODS—>DWD:每天七点左右结束。
未来新增:
  • 新增镇医院医院后,预计差不多新增100个job/day左右;
  • 镇医院医院需增加一台机器单独执行任务。


2.2 资源使用情况
i. CPU资源


ii. 内存
RC:

Worker:

iii. 磁盘
RC:

Worker:


未来1~2年资源预估
3.1业务情况分析
i. 新增镇医院医院
配套新增一个ODS库

ii. 数据空间
1) 现有ODS库空间:中医院118G,人民医院137G,妇幼10GB;预计镇医院医院ODS空间150GB;而现有数据占用总空间数据量为565GB;

2) 从上可以计算出新增总空间为:565 * 150/(118+137+10) = 265GB;

3) 故计算出新增总空间为:24.84 亿 * 150/(118+137+10) = 14亿;

4) 数据量比较大的四张表统计取样:


5) 每年数据空间:

6) 数据预估量及数据空间预估大小:
7) 预留10%左右的弹性空间,同时最大磁盘使用量为60%;
数据空间数总预估:1124GB * (1 + 10%) 60% = 2060GB = 2.0TB

8) 现有磁盘空间为:1.7TB;

9) 建议:磁盘不升级先用,如果数据膨胀符合预期,会在1.5年后磁盘空间开始紧张,再来着手准备扩容磁盘空间也可以。

3.2 计算量预估
1) 现有300个job情况下:(仅统计高峰期:凌晨12点至凌晨七点)
a. RC评估:CPU平均占有率30%左右;如果任务数从300个增加到400个,增加了34%;按照等比例,预计CPU平均占有率增加至40 ~ 45%左右,同时预计耗时也会增加10%-20%左右;

b. RC建议:现有CPU能力基本满足需求,如果想要提升整体效率,建议RC的CPU能力提升1.5 ~ 2倍;

c. Worker评估:CPU平均占有率85%左右;如果任务数从300个增加到400个,增加了34%;按照等比例,预计CPU平均占有率增加至85 ~ 95%;同时耗时可能会增加1.3倍左右;

d. Worker建议:现有CPU利用率基本已经达到了最顶峰;如果在原耗时相当的情况下,需要增加CPU计算能力2 - 4倍最好;

2) 内存监控和节点扩容:
从数仓WEB端监控来看,在300个job下,全量数据统计分析偶尔出现内存紧张,稍显内存不足,且会有少量异常的情况;

如果数据量增长从24亿增加到50亿左右,任务数从300增加到400的情况下,Worker节点的内存至少要增加2 - 4 倍。


数仓系统资源扩容建议

4.1 RC节点服务器:CPU建议从16核升级到32核;


4.2 Worker节点服务器:CPU建议从16核升级到32 ~ 64核;内存从64GB至少升级到128GB,最好是升级到256GB内存;磁盘建议升级到2.0TB以上。(鉴于磁盘扩容需求不紧急,而且磁盘扩容涉及到现有数据的迁移和同步,工作量比较大,可以暂缓观察);


4.3 最终方案如下:

关于石原子科技

石原子科技成立于 2021 年10 月,拥有国内顶级的数据库人才与专家,创始成员源于阿里云 PolarDB、AnalyticDB,腾讯云 TDSQL,华为云 GaussDB,Oracle 等国内外知名数据库团队,专注于一体化 MySQL 实时 HTAP 数据库和离在线一体化实时数据仓库的研发与应用,依托云中立的数据技术进行产品设计,致力于为客户提供大规模、高性能、低成本的一站式实时数据分析服务。


石原子科技坚持精细布局、自主创新的产品研发路线,打造了两款标杆信创产品:
业内首个单机内核开源、行列混存+内存计算架构的一体化 MySQL HTAP 数据库 StoneDB

该产品对标 Oracle HeatWave,使用 MySQL 的用户,通过 StoneDB 可以实现 TP+AP 混合负载,分析性能显著提升 10-100 倍以上,不需要进行数据迁移,也无需与其他 AP 系统集成,弥补 MySQL 分析领域的空白,通过 AP 增强到自主可控的 TP,瞄准大量 MySQL 信创升级 + 替代市场。


基于全场景的新一代高性能、低成本的离在线一体化实时数仓 StoneData
高度兼容 MySQL 语法,毫秒级更新,亚秒级查询,满足准实时和实时分析需求,一体化架构将实时和离线融合,减少数据冗余和移动,具有简化技术栈架构的能力;实现业务与技术解耦,支持自助式分析和敏捷分析;无论是数据湖中的非结构化或半结构化数据,还是数据库中的结构化数据,都可使用 StoneData 构建企业的数据分析平台,同时完成高吞吐离线处理和高性能在线分析,实现降本增效。


公司成立至今,已积累了上千位用户,种子客户达 300 多家,取得 30+ 项软件著作权,成功申请并获准通过了 16+ 项技术专利,分别获评杭州市创新型中小企业、浙江省科技型中小企业、国家级科技型中小企业,产品通过公安部三所自主原创性认证,全面满足信创和等保要求。


文章转载自石原子科技,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论