暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

GoldenDB负载均衡手段

乐呵呵 2024-12-30
57


大表数据建议采用分片表、分片+分区、多级分片的方式实现数据的均衡分布,分片策略支持:哈希、范围、列表,各分片上的数据量均衡,业务增长过程中数据变化也保持相对均衡,其中

1) 面向用户的主档表(客户、账号、用户)优先考虑用HASH分发策略。分片键字段少的大表,采用RANGE/LIST分片策略,例如面向机构编码或地市字段大表采用LIST分片策略。

2) 对包含日期的流水表,采用先分片再分区。

3) 每个分片的数据总量不超过2~3TB,推荐不超过2TB。

4) 单台服务器的数据总量不超过6~9TB,推荐不超过6TB。

5) 单个分片的表记录行总数不超过1亿条。

6) 单个分区的表记录行总数不超过2千万条。

7) 关联性强的表(比如JOIN、批量迁移等)尽采用相同的分片策略,例如客户的主档表和流水表,使用相同的分片策略,使得相同客户的多个表数据落在相同的分片上,减少跨分片关联。

8) 避免热点数据的过分集中,如果因为分发策略的原因导致热点数据,可通过增加分发字段的方式,使数据分布进一步细化,热点的判断可通过各个分片的各项指标综合判断。

对于多级分片,实际使用中出于某些考虑,需要对数据进行复杂的分片。比如集团客户分在某个分片,非集团客户按照客户号HASH分片。实际上,多级分片可以看作带复杂表达式的混合分发策略。如本例中集团客户指定分片即为LIST分发,非集团客户则为HASH分发。多级分片是为了应对复杂场景下数据的分片,需要分析业务的特点制定具体的多级分片策略。

先分片再分区,对包含历史表等有日期字段的表,采用先分片再分区的策略。使用年份、月份等字段进行分区设计,将相同分片上的大表按日期将数据分散到多个分区。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论