【干货分享】深度解析Buffer Manager、Index-Only Scans、HOT

postgres=# select oid from pg_class where relname='test';
  oid 
-------
 16972
(1 row)


postgres=# select pg_relation_filepath('test');
 pg_relation_filepath
----------------------
 base/13593/16972
postgres=# select * from pg_tablespace;
 oid  |  spcname   | spcowner | spcacl | spcoptions
------+------------+----------+--------+------------
 1663 | pg_default |       10 |        |
 1664 | pg_global  |       10 |        |
postgres=# select ctid from test;
 ctid 
-------
 (0,1)
 (0,2)
 (0,3)
 (0,4)
 (0,5)
(5 rows)

表oid            16972
数据库oid     13593
表空间oid     1663
主文件分支    0
空闲空间映射fsm分支编号 1

typedef struct sbufdesc
   {
      BufferTag     tag;                   /* 存储在缓冲区中页面的标识 */
      BufFlags      flags;                 /* 标记位 */
      uint16        usage_count;           /* 时钟扫描要用到的引用计数 */
      unsigned      refcount;              /* 在本缓冲区上持有PIN的后端进程数 */
      int           wait_backend_pid;      /* 等着PIN本缓冲区的后端进程PID */
      slock_t       buf_hdr_lock;          /* 用于保护上述字段的锁 */
      int           buf_id;                /* 缓冲的索引编号 (从0开始) */
      int           freeNext;              /* 空闲链表中的链接 */
      LWLockId      io_in_progress_lock;   /* 等待I/O完成的锁 */
      LWLockId      content_lock;          /* 访问缓冲区内容的锁 */
   } BufferDesc;

（1）查找缓冲区表（本节假设页面不存在，找不到对应页面）。
创建所需页面的 buffer_tag（本例中 buffer_tag 为 ‘Tag_E’ ）并计算其散列桶槽。以共享模式获取相应分区上的 BufMappingLock。查找缓冲区表（根据假设，这里没找到）。释放 BufMappingLock。
（2）从 freelist 中获取空缓冲区描述符，并将其钉住。在本例中所获的描述符：buffer_id=4。
（3）以独占模式获取相应分区的 BufMappingLock（此锁将在步骤（6）中被释放）。
（4）创建一条新的缓冲表数据项：buffer_tag=‘Tag_E’, buffer_id=4，并将其插入缓冲区表中。
（5）将页面数据从存储加载至 buffer_id=4 的缓冲池槽中，如下所示：
以排他模式获取相应描述符的 io_in_progress_lock。将相应描述符的 IO_IN_PROGRESS 标记位设置为1，以防其他进程访问。将所需的页面数据从存储加载到缓冲池插槽中。更改相应描述符的状态，将 IO_IN_PROGRESS 标记位设置为"0"，且 VALID 标记位设置为"1"。释放 io_in_progress_lock。
（6）释放相应分区的 BufMappingLock。
（7）访问 buffer_id=4 的缓冲池槽。

（1）创建所需页面的 buffer_tag 并查找缓冲表。在本例中假设 buffer_tag 是 ‘Tag_M’ （且相应的页面在缓冲区中找不到）。
（2）使用时钟扫描算法选择一个受害者缓冲池槽位，从缓冲表中获取包含着受害者槽位 buffer_id 的旧表项，并在缓冲区描述符层将受害者槽位的缓冲区描述符钉住。本例中受害者槽的 buffer_id=5，旧表项为 Tag_F, id = 5。
（3）如果受害者页面是脏页，则将其刷盘（write & fsync），否则进入步骤（4）。
在使用新数据覆盖脏页之前，必须将脏页写入存储中。脏页的刷盘步骤如下：
1. 获取 buffer_id=5 描述符上的共享 content_lock 和独占 io_in_progress_lock。
2. 更改相应描述符的状态：相应 IO_IN_PROCESS 位设置为"1"，JUST_DIRTIED 位设置为"0"。
3. 根据具体情况，调用 XLogFlush() 函数将WAL缓冲区上的WAL数据写入当前WAL段文件。
4. 将受害者页面的数据刷盘至存储中。
5. 更改相应描述符的状态；将 IO_IN_PROCESS 位设置为"0"，将 VALID 位设置为"1"。
6. 释放 io_in_progress_lock和 content_lock。以排他模式获取缓冲区表中旧表项所在分区上的 BufMappingLock。
（5）获取新表项所在分区上的 BufMappingLock，并将新表项插入缓冲表：
创建新表项：由 buffer_tag='Tag_M’与受害者的 buffer_id组成的新表项。
以独占模式获取新表项所在分区上的 BufMappingLock。
将新表项插入缓冲区表中。
（6）从缓冲表中删除旧表项，并释放旧表项所在分区的 BufMappingLock。
（7）将目标页面数据从存储加载至受害者槽位，然后用 buffer_id=5 更新描述符的标识字段，将脏位设置为0，并按流程初始化其他标记位。
（8）释放新表项所在分区上的 BufMappingLock。
（9）访问 buffer_id=5 对应的缓冲区槽位。

testdb=# \d tbl
      Table "public.tbl"
 Column |  Type   | Modifiers
--------+---------+-----------
 id     | integer |
 name   | text    |
 data   | text    |
Indexes:
   "tbl_idx" btree (id, name)




 SELECT id, name FROM tbl WHERE id BETWEEN 18 and 19;
 id |  name  
----+--------
 18 | Queen
 19 | Boston
(2 rows)