大表数据建议采用分片表、分片+分区、多级分片的方式实现数据的均衡分布,分片策略支持:哈希、范围、列表,各分片上的数据量均衡,业务增长过程中数据变化也保持相对均衡,其中
1) 面向用户的主档表(客户、账号、用户)优先考虑用HASH分发策略。分片键字段少的大表,采用RANGE/LIST分片策略,例如面向机构编码或地市字段大表采用LIST分片策略。
2) 对包含日期的流水表,采用先分片再分区。
3) 每个分片的数据总量不超过2~3TB,推荐不超过2TB。
4) 单台服务器的数据总量不超过6~9TB,推荐不超过6TB。
5) 单个分片的表记录行总数不超过1亿条。
6) 单个分区的表记录行总数不超过2千万条。
7) 关联性强的表(比如JOIN、批量迁移等)尽采用相同的分片策略,例如客户的主档表和流水表,使用相同的分片策略,使得相同客户的多个表数据落在相同的分片上,减少跨分片关联。
8) 避免热点数据的过分集中,如果因为分发策略的原因导致热点数据,可通过增加分发字段的方式,使数据分布进一步细化,热点的判断可通过各个分片的各项指标综合判断。
对于多级分片,实际使用中出于某些考虑,需要对数据进行复杂的分片。比如集团客户分在某个分片,非集团客户按照客户号HASH分片。实际上,多级分片可以看作带复杂表达式的混合分发策略。如本例中集团客户指定分片即为LIST分发,非集团客户则为HASH分发。多级分片是为了应对复杂场景下数据的分片,需要分析业务的特点制定具体的多级分片策略。
先分片再分区,对包含历史表等有日期字段的表,采用先分片再分区的策略。使用年份、月份等字段进行分区设计,将相同分片上的大表按日期将数据分散到多个分区。
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。
评论
相关阅读
GoldenDB数据库社区正式上线!期待与您共享新知
GoldenDB分布式数据库
242次阅读
2025-03-12 14:06:39
乌兰察布市政府数据库框采:金仓、海量、东方金信、神通、GreatDB、虚谷、GoldenDB等产品入围
通讯员
128次阅读
2025-03-26 10:34:16
首届GoldenDB金融核心应用技术研讨会在京成功举办!
GoldenDB分布式数据库
87次阅读
2025-03-12 10:23:13
GoldenDB:赋能公积金系统数字化转型,打造安全高效的数据基石
张芝
67次阅读
2025-03-28 17:41:22
GoldenDB孤岛演练
韦
65次阅读
2025-03-28 21:15:56
GoldenDB数据库SQL画像功能,助力实现精准SQL诊断
Whill
53次阅读
2025-03-28 18:52:43
GoldenDB租户复制时延功能,助力运维实时洞察、精准决策
Whill
52次阅读
2025-03-28 18:53:43
金点分享 | GoldenDB数据库智能SQL限流,让算力精准赋能业务
Whill
50次阅读
2025-03-28 18:53:07
GoldenDB助力神木市智慧能源AI视频辅助监管监察智慧分析子系统建设项目
分布式数据库
48次阅读
2025-03-28 16:53:56
数据库 SQL 故障定位难题,终于有解了!
吾亦可往
39次阅读
2025-03-07 11:38:21