暂无图片
暂无图片
1
暂无图片
暂无图片
1
暂无图片

GoldenDB分片技术

乐呵呵 2025-01-24
86

分片表技术特性与分片特点

  1. 技术原理:分片表是将大表数据按照特定策略分散存储到多个逻辑或物理表中。通过这种方式,打破了单表数据量的限制,提升系统性能和可扩展性。
  1. 分片策略
  • 哈希(HASH):计算分片键的哈希值,根据哈希值将数据分配到不同的分片。面向用户的主档表(如客户、账号、用户表)常采用此策略,因其能使数据均匀分布,减少数据倾斜。例如,对客户 ID 进行哈希计算,将不同客户数据分散到各个分片,保证每个分片的数据量相对均衡。
  • 范围(RANGE):按照分片键的取值范围进行数据分片。适用于分片键字段少且有明显范围特征的数据,如按时间范围分片。
  • 列表(LIST):根据预先定义的列表值进行分片。像面向机构编码或地市字段的大表,可按机构编码或地市名称列表进行分片,每个分片存储特定机构或地区的数据。
  1. 优势
  • 性能提升:减少单表数据量,加快查询、插入、更新等操作速度。
  • 可扩展性:方便增加分片节点,适应业务数据增长。
  • 数据均衡:各分片上的数据量均衡,业务增长时数据变化也能保持相对均衡。

分片 + 分区技术特性与特点

  1. 技术原理:先对数据进行分片,然后在每个分片内再按特定规则进行分区。对于包含日期的流水表,这种方式尤为适用。
  1. 分区策略:常使用年份、月份等日期字段进行分区设计。例如,将流水表先按客户 ID 哈希分片,然后在每个分片内,再按月份对数据进行分区。
  1. 优势
  • 更细粒度的数据管理:既利用分片实现数据的水平扩展,又通过分区对每个分片内的数据进一步细分管理,便于数据归档、清理等操作。
  • 提高查询效率:在查询特定时间段数据时,可快速定位到相应分区,减少数据扫描范围。

多级分片技术特性与特点

  1. 技术原理:为应对复杂业务场景,采用多层分片策略。可以看作是带复杂表达式的混合分发策略。
  1. 应用场景:比如集团客户分在某个特定分片,非集团客户按照客户号 HASH 分片。集团客户指定分片采用 LIST 分发,非集团客户采用 HASH 分发。
  1. 优势
  • 灵活性高:能满足复杂业务逻辑下的数据分片需求,根据不同业务特点制定针对性的分片策略。
  • 优化数据分布:避免因单一分片策略导致的数据分布不合理,使数据分布更贴合业务实际情况。
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论