Citus实现PostgreSQL数据库的分布式架构

Whoami：5年+金融、政府、医疗领域工作经验的DBA
Certificate：OCP、PCP
Skill：Oracle、Mysql、PostgreSQL
Platform：CSDN、墨天伦、公众号（呆呆的私房菜）
复制

# 如无特殊说明，下列命令所有节点都执行
1. 主机环境配置
cat >> etc/sysctl.conf <<-EOF
kernel.shmmax = 4294967296
kernel.shmall = 2097152
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
fs.aio-max-nr = 1048576
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144    
net.core.rmem_max = 4194304    
net.core.wmem_default = 262144    
net.core.wmem_max = 4194304
fs.file-max = 6815744
EOF


2. 配置主机资源限制
cat >> etc/security/limits.conf <<-EOF
* soft    nofile  1024000
* hard    nofile  1024000
* soft    nproc   unlimited
* hard    nproc   unlimited
* soft    core    unlimited
* hard    core    unlimited
* soft    memlock unlimited
* hard    memlock unlimited
EOF


3. 安装系统依赖
yum install apr apr-util bash bzip2 curl krb5 libxml2 libyaml openldap openssh openssl openssl-libs perl rsync R sed tar zip unzip ntp lz4* gcc* libcurl* libevent* flex* bison* readline* zlib* 


4. 安装zstd
tar xzf zstd-1.4.4.tar.gz -C usr/local/
cd /usr/local/zstd-1.4.4
make -j && make install 


5. 源码安装PostgreSQL数据库和citus扩展（所有主机执行）
-- 创建安装用户
useradd postgres
echo "postgres#2024" | passwd --stdin postgres
-- 配置用户环境变量
cat >> home/postgres/.bash_profile <<-EOF
export PGHOME=/pg/pg11
export PGDATA=/pg/pg11/data
export PATH=\$PATH:\$PGHOME/bin
export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/usr/local/zstd-1.4.4/lib/
EOF
chown postgres.postgres ~/.bash_profile
-- 上传postgresql-11.18.tar.gz安装包到/pg/pg11下
cd /pg/pg11/
tar xzf postgresql-11.18.tar.gz
cd postgresql-11.18
./configure --prefix=/pg/pg11 --enable-nls --with-perl --with-python --with-tcl --with-gssapi --with-openssl --with-pam --with-ldap --with-libxml --with-libxslt
make -j 4 && make install
-- 上传citus-11.3.0.tar.gz 安装包到 pg/pg11/postgresql-11.18/contrib下
cd /pg/pg11/postgresql-11.18/contrib
tar xzf citus-11.3.0.tar.gz 
cd citus-11.3.0
./configure && make && make install


6. 初始化主库
initdb -E UTF8 --locale=en_US.utf8 -U postgres


7. 主库配置
-- 修改数据库参数配置
cat >> $PGDATA/postgresql.conf <<EOF
listen_addresses = '*'
port=5432
unix_socket_directories='/pg/pg11/data'
logging_collector = on
log_directory = 'pg_log'
log_filename = 'postgresql-%a.log'
log_truncate_on_rotation = on
wal_level='replica'
archive_mode='on'
archive_command='test ! -f /pg/pg11/archive/%f && cp %p /pg/pg11/archive/%f'
hot_standby=on
max_wal_senders=10
wal_sender_timeout=60s
wal_keep_segments = 128 
max_replication_slots=10
wal_log_hints=on
shared_preload_libraries ='citus'
EOF
-- 修改访问白名单配置
cat >> $PGDATA/pg_hba.conf <<EOF
host    all             all             0.0.0.0/0               md5
host    all             all             192.168.56.11/24        trust
host    all             all             192.168.56.22/24        md5
host    all             all             192.168.56.33/24        md5
EOF


8. 启动数据库并创建扩展
pg_ctl start
create extension citus;


9. 配置CN和DN关系（在CN节点执行即可）
select * from master_add_node('192.168.56.22', 5432);
select * from master_add_node('192.168.56.33', 5432);
select * from master_get_active_worker_nodes();


10. 创建分布式表测试
create table shard_test(gid serial primary key, tracktime timestamp without time zone);
select create_distributed_table('shard_test', 'gid'); 
insert into shard_test(tracktime) select now()::timestamp(0) + (interval '1 second' * (random() * 86400)) * generate_series(1, 1000);


11. 查看分片信息
select * from pg_dist_placement where shardid in (select shardid from pg_dist_shard where logicalrelid='shard_test'::regclass);
复制