暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

AntDB 企业增强特性介绍——数据并行查询

yolo.. 2024-02-23
72

AntDB 内置分布式并行执行引擎,在多个数据节点之间组网传输数据,利用多节点并发处理数据,可以使聚集、排序、关联等操作获得倍数级的性能提升, 随着节点数的增加,性能也会线性增长。在图 3-21 中 Reduce 是 Datanode 之间用于数据传输的机制。

实现说明:

●并行Hash Join:使用多个worker进程,每个worker节点执行相同的任务,在Datanode节点使用一个数据量小的表作为驱动表,用作Hash 表,均分后的大表数据和Hash表做数据Join,最终在Coordinator节点汇总数据。

●并行排序:使用多个worker进程,每个worker节点在Datanode节点将获取的结果集数据进行排序,最终提交数据到Coordinator节点并汇总排序数据。

●并行创建索引:使用至多max_parallel_maintenance_workers个worker进程,在Datanode节点并行创建btree索引,提升索引创建效率。

●并行union:使用多个worker进程,每个worker节点执行相同的任务, 扫描的数据在每个Datanode节点进行Union操作,最终将所有节点Union 后的数据汇总至Coordinator节点,最终执行一次Union操作。


关于AntDB数据库


AntDB数据库始于2008年,在运营商的核心系统上,为全国24个省份的10亿多用户提供在线服务,具备高性能、弹性扩展、高可靠等产品特性,峰值每秒可处理百万笔通信核心交易,保障系统持续稳定运行近十年,并在通信、金融、交通、能源、物联网等行业成功商用落地。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论