PolarDB PostgreSQL版进阶部署准备——Ceph 共享存储（下）

PolarDB PostgreSQL版（简称 PolarDB-PG）是一款阿里云自主研发的云原生关系型数据库产品，100% 兼容 PostgreSQL，高度兼容Oracle语法；采用基于 Shared-Storage 的存储计算分离架构，具有极致弹性、毫秒级延迟、HTAP 的能力和高可靠、高可用、弹性扩展等企业级数据库特性。同时，PolarDB 具有大规模并行计算能力，可以应对OLTP与OLAP混合负载。

Ceph 是一个统一的分布式存储系统，由于它可以提供较好的性能、可靠性和可扩展性，被广泛的应用在存储领域。Ceph 搭建需要 2 台及以上的物理机/虚拟机实现存储共享与数据备份，本教程以 3 台虚拟机机环境为例，介绍基于 ceph 共享存储的实例构建方法。大体如下：

1. 获取在同一网段的虚拟机三台，互相之间配置 ssh 免密登录，用作 ceph 密钥与配置信息的同步；
2. 在主节点启动 mon 进程，查看状态，并复制配置文件至其余各个节点，完成 mon 启动；
3. 在三个环境中启动 osd 进程配置存储盘，并在主节点环境启动 mgr 进程、rgw 进程；
4. 创建存储池与 rbd 块设备镜像，并对创建好的镜像在各个节点进行映射即可实现块设备的共享；
5. 对块设备进行 PolarFS 的格式化与 PolarDB-PG 的部署。

构建方法为如上5步共计三篇文章介绍，本文介绍第4、5步的内容

rbd 块设备创建

提示
以下命令均在容器 mon01 中进行。

存储池的创建

docker exec -it mon01 bash
ceph osd pool create rbd_polar
复制

创建镜像文件并查看信息

rbd create --size 512000 rbd_polar/image02
rbd info rbd_polar/image02

rbd image 'image02':
size 500 GiB in 128000 objects
order 22 (4 MiB objects)
snapshot_count: 0
id: 13b97b252c5d
block_name_prefix: rbd_data.13b97b252c5d
format: 2
features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
op_features:
flags:
create_timestamp: Thu Oct 28 06:18:07 2021
access_timestamp: Thu Oct 28 06:18:07 2021
modify_timestamp: Thu Oct 28 06:18:07 2021
复制

映射镜像文件

modprobe rbd # 加载内核模块，在主机上执行
rbd map rbd_polar/image02

rbd: sysfs write failed
RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable rbd_polar/image02 object-map fast-diff deep-flatten".
In some cases useful info is found in syslog -  try "dmesg | tail".
rbd: map failed: (6) No such device or address
复制

注意
某些特性内核不支持，需要关闭才可以映射成功。如下进行：关闭 rbd 不支持特性，重新映射镜像，并查看映射列表。

rbd feature disable rbd_polar/image02 object-map fast-diff deep-flatten
rbd map rbd_polar/image02
rbd device list

id  pool       namespace  image    snap  device
0   rbd_polar             image01  -     /dev/  rbd0
1   rbd_polar             image02  -     /dev/  rbd1
复制

提示
此处我已经先映射了一个 image01，所以有两条信息。

查看块设备

回到容器外，进行操作。查看系统中的块设备：

lsblk

NAME                                                               MAJ:MIN RM  SIZE RO TYPE  MOUNTPOINT
vda                                                                253:0    0  500G  0 disk
└─vda1                                                             253:1    0  500G  0 part /
vdb                                                                253:16   0 1000G  0 disk
└─ceph--7eefe77f--c618--4477--a1ed--b4f44520dfc 2-osd--block--bced3ff1--42b9--43e1--8f63--e853b  ce41435
                                                                    252:0    0 1000G  0 lvm
rbd0                                                               251:0    0  100G  0 disk
rbd1                                                               251:16   0  500G  0 disk
复制

注意
块设备镜像需要在各个节点都进行映射才可以在本地环境中通过 lsblk 命令查看到，否则不显示。ceph002 与 ceph003 上映射命令与上述一致。