Greenplum集群安装配置及最佳实践

视频地址

视频地址：https://www.bilibili.com/video/av82277973/

[TOC]

总体原则

1.1 硬件平衡

1. 性能
2. 成本
3. 容量

1.2 高可用

1. 节点
2. 网络
3. 磁盘

1.3 部署方案

• Master与Standby Master分级部署
• Primary Segment与Mirror Segment 分机部署
• Segment Mirroring 部署方案
  • Group Mirroring
  • Spread Mirroring
  • Group + Spread Mirroring
• Pivotal Supported Greenplum 必须部署Mirroring Segment
• Pivotal Supported Greenplum 必须部署Mirroring Segment
• 同一主机Segment个数
  • CPU/Core 数据
  • 查询并发数
  • 单机Primary Segment 总数不能过多

1.3.1 Group Mirroring 部署方案

按照以下4台机器Group Mirroring的部署方案总结

缺点: 一台机器down掉后，会把流量全部放在下一个节点，下一个节点的流量会变成2倍的流量

优点: down掉一台机器后，集群能正常的提供服务,如果再down掉第二台集群就不可用

1.3.2 Spread Mirroring 部署方案

按照以下4台机器Spread Mirroring的部署方案总结

缺点: 一台机器down掉后，会把流量全部放在下两个节点

优点: down掉一台机器后，集群能正常的提供服务,如果再down掉第二台集群就不可用

1.3.3 Group + Spread Mirroring 部署方案

如果集群比较大建议使用Group + Spread Mirroring部署方案，如果集群由down流量会分流道其他的机器上,集群不可用的几率比较小。

2 硬件选型

2.1 Master 节点

• 网卡
  • 2块万兆网卡内部互联
  • 1-2块千兆网卡带外管理及接入客户网络
• 内存
  • DDR4 64GB以上，建议256G
• 磁盘
  • 6块600G/900G 10k RPM SAS盘
  • 采用RAID5或RAID10
  • 单独预留hotspare 盘
  • 1块RAID卡，cache 1GB以上，带有掉电保护功能
• CPU
  • 2路8核及以上
  • 主频2.5G HZ以上

2.2 Segment 节点

• 网卡
  • 2块万兆网卡内部互联
  • 1-2块千兆网卡带外管理及接入客户网络
• 内存
  • DDR4 64GB以上，建议256G
• 磁盘
  • 24块600G/900G 10k RPM SAS盘
  • 采用RAID5或RAID10
  • 单独预留hotspare 盘
  • 1-2块RAID卡，cache 1GB以上，带有掉电保护功能
• CPU
  • 2路8核及以上
  • 主频2.5G HZ以上

2.3 节点配置示例

2.4 经验总结

• 磁盘故障是Greenplum集群最常见故障

  • 分析性查询：SAS盘>SATA盘
  • 高并发IO查询：优先SSD或者NVMe

• RAID级别

  • RAID5 VS RAID 10

    容量 90% VS 50%

    可靠性高

    坏盘后性能保证

    性价比

• RAID卡一定带Cache功能

• 硬件监控

• 预留灾备机

3 硬件配置

3.1 主机配置

3.2 网络配置

每个网卡都配置流量网卡，保证流量网卡的均匀。

3.3 交换机配置

交换机配置是双机。

4 存储规划

4.1磁盘可用空间

• 原始磁盘容量
  • raw_capacity=disk_capacity*number_of_disks
• 文件系统开销
  • 文件系统格式（10%）
  • RAID级别
    • RAID5:10%
    • RAID10:50%
  • formatted_disk_space=(raw_capacity*0.9)/2
• 性能因素
  • 磁盘容量保持在70%最佳
  • usable_disk_space=formatted_disk_space*0.7
• 用户数据空间及临时空间
  • 用户数据容量U，临时空间容量U/3
  • With Mirror:usable_disk_space=2*U+U/3
  • Without Mirror：usable_disk_space=U+U/3

4.2 用户数据容量

• 数据库用户数据=原始用户数据*1.4（为什么会增加）
• Page开销
  • 每32KB的Page需要20字节Header开销
• Tuple开销
  • 每个heap Tuple需要24字节Header开销
  • 每个AO Tuple需要4字节Header开销
• Attribute开销
  • 类型有关
• Index开销
  • Btree索引与唯一数目有关

4.3 系统数据容量

• Catalog
  • 每个Segment约300MB
• Write Ahead Log
  • WAL分为多个64MB的段文件
  • 段文件数据最多为2*checkpoint_segment+1（默认checkpoint_segment为8个）
  • 每个Segment上WAL最多（2*8+1）*64MB=1088MB
• Database Log文件
  • Log Rotation机制

4.4 容量总结

5 集群配置

5.1 最近系统要求

以下是系统的最近的配置

5.2 系统配置

详细配置请看5.10集群安装文档

6 集群安装

6.1 安装方式

RPM安装

Binary安装