PgSQL HashAgg算法 第3期 spill溢出磁盘解秘.docx
5墨值下载
算法
第
期
版本
的
溢出磁盘解秘
上期我们介绍了版本
的
场景下
如何进行操作，本期接着介绍下
版本
是怎么操作的，它是否和版本
的原理一样？当然不一样，和版本
将不在当前
表分组的元组溢出到磁盘不同，它是将当前
表溢出到磁盘，然后再将元组插入到腾出
空间的
表中。
1
、
hash
表的管理
表的结构为
，由聚合算子执行状态结构
管理。和
版本
不同的是，他只有一个
表。
用来管理溢出文件，
有
表
一些信息：
为临时文件个数，由配置项
!
控制，默认
；
"
为
表 容 纳 的 组 数 ， 即
表 大 小 ；
!#
为
表 的 桶 数 ，
"$"%!"!#
。
!#
用来管理
桶，每个成员为
&"'
，存有分组值和分组聚合值、
值；若发生
冲突，则通过链表的形式
串在一起。
2
、
hash
表
spill
机制
2.1 spill
写
）首先通过
agg_hash_inial_pass
构建
表，会将所有值都处理一遍，若内存中放
不下，则将
表溢出写磁盘腾出空间后，继续构建
表。处理完成后（溢出
磁盘场景），所有值都在磁盘临时文件中进行了分组。实际上，每个
桶映射
到一个文件中，若
桶数大于临时文件个数，则多个
桶会映射到一个文件
中。如此，最后相当于将元组进行了一次粗略分组，写到各个临时文件中
）
(
的
spill_hash_table
函数就是将
表溢出到磁盘，然后通过
%%#!"'
继续插入
表
）最后一批
表内存中的数据
)*+,
也需要溢出磁盘，不过此时会
调 用
!-*+! -!
函 数 将 每 个 临 时 文 件 通 过
BufFileEndCompression
释放压缩内存
.
）
spill_hash_table
函数首先通过
%
创建
个
/
，然后通过如下方式
写磁盘：从最后一个
文件 号 开 始依次向 前 遍 历，比如 先 将
号桶写 到
/01
中，然后再将
23
号桶也写到
号，向后按照
的步长写桶；
写完后再向前遍历，即处理
4
号桶，再按照上面方式写磁盘。写一个临时文件时，
若开启压缩的话，会调用
! -5!(*+!6"7%8"%
开启压缩
需要注意的是：使用的是
压缩算法，虽然性能不错，但是比较耗内存，不论向该文件
写多少内容，大概一个文件都需要
9:
，当临时文件特别多的时候，内存耗费就相当大
of 3
5墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论