利用 kube-vip 实现 K3s 高可用部署

选择哪种模式取决于集群的需求和网络环境。ARP 模式简单易用，适合于较小规模的集群或在没有复杂网络配置的情况下。BGP 模式则适用于更大规模的集群，需要与外部网络进行交互或实现高级路由策略的情况下。

本文演示的示例采用的是 ARP 模式。更多使用方式可参考 kube-vip 文档：https://kube-vip.io/docs/

 

—— 通过 kube-vip 实现 ——

K3s 控制平面高可用

在下面的示例中，首先生成一个用于部署在 K3s 集群中的 kube-vip Manifest，然后再启动一个高可用的 K3s 集群，启动 K3s 集群时会自动部署 kube-vip 的 Manifest 文件，从而通过 kube-vip 实现控制平面的高可用。

K3s 有一个可选的 Manifests 目录，K3s 启动时将检查该目录中的 yaml 文件，并自动在 K3s 中部署，参考：https://docs.k3s.io/installation/packaged-components#auto-deploying-manifests-addons

首先创建此目录，以便稍后将 kube-vip 资源放入其中:

mkdir -p /var/lib/rancher/k3s/server/manifests/

kube-vip 在 K3s 下作为 DaemonSet 运行，我们需要 RBAC 资源来确保 ServiceAccount 存在并进行绑定，来确保它具有与 API 服务器通信所需的权限。

获取 RBAC 清单并将其放置在自动部署目录中：

curl https://kube-vip.io/manifests/rbac.yaml > /var/lib/rancher/k3s/server/manifests/kube-vip-rbac.yaml

export VIP=192.168.205.200 # 设置虚拟 IP 用于访问控制平面的地址
export INTERFACE=ens3 # 设置控制平面所在主机的网卡名称
KVVERSION=$(curl -sL https://api.github.com/repos/kube-vip/kube-vip/releases | jq -r ".[0].name")  # 获取 kube-vip 版本
alias kube-vip="docker run --network host --rm ghcr.io/kube-vip/kube-vip:$KVVERSION" # 针对 docker 环境设置别名

# 创建 kube-vip 清单
kube-vip manifest daemonset \
    --interface $INTERFACE \
    --address $VIP \
    --inCluster \
    --taint \
    --controlplane \
    --services \
    --arp \
    --leaderElection > /var/lib/rancher/k3s/server/manifests/kube-vip.yaml

K3s 支持多种 HA 安装方式，本次示例采用嵌入式 ETCD 的方式搭建高可用的 K3s 集群，这样集群中就存在了 3 个控制平面，然后通过 kube-vip 实现这些控制平面的高可用。

安装 K3s 时需要指定 --tls-san
 参数，这样 K3s 就会使用 kube-vip 虚拟 IP 地址生成 API 服务器证书。

启动第一个节点：

curl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn \
    K3S_TOKEN=SECRET sh -s - server \
    --cluster-init \
    --system-default-registry "registry.cn-hangzhou.aliyuncs.com" \
    --tls-san 192.168.205.200

使用相同命令启动第二和第三个节点：

curl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn \
    K3S_TOKEN=SECRET  sh -s - server \
    --server https://<ip or hostname of server1>:6443 \
    --system-default-registry "registry.cn-hangzhou.aliyuncs.com" \
    --tls-san 192.168.205.200

检查节点运行情况：

检查 kube-vip daemonset，我们应该会看到 kube-vip-ds 已经成功启动：

 

—— 验证 K3s 控制平面的高可用 ——

kube-vip daemonset 启动成功后，应该看到 kube-vip 配置的虚拟 IP 地址可以 ping 通：

将 K3s 生成的 kubeconfig 文件下载到本地，并将默认的 127.0.0.1 改为虚拟 IP 地址：192.168.205.200。

可以看到，使用虚拟机 IP 可以继续通过 kubeconfig 访问 Kubernetes API。

现在我们已经配置了 kube-vip，并且可以通过虚拟 IP 访问到某个控制平面。接下来让我们执行实际测试，看看 kube-vip 虚拟 IP 是否按预期进行故障转移。

此时，可以通过 ip addr show ens3 
确认虚拟 IP 落在了 k3s1 主机上：

接下来，我们可以将 k3s1 主机关机，模拟故障：

正如所看到的，当 k3s1 主机发生故障，kube-vip 的虚拟 IP 可以自动切换到其他主机，并且我们可以继续使用该虚拟机 IP 去访问 Kubernetes API：

 

—— 总 结 ——

通过使用 kube-vip，我们可以轻松实现 K3s 控制平面的高可用。kube-vip 提供了一个简单而强大的解决方案，通过虚拟 IP 和自动切换机制，确保在 Master 节点故障时，集群仍能持续对外提供服务。

kube-vip 可以通过指定虚拟 IP 和监听端口来监控集群中的 Master 节点的健康状态，并在主节点故障时自动将虚拟 IP 切换到其他节点上。

总之，kube-vip 是实现 K3s 控制平面高可用的理想工具。它简单的安装和配置过程让任何用户都可以轻松部署和管理高可用的 K3s 集群。通过使用 kube-vip，用户可以放心地在生产环境中运行 K3s，并确保集群的持续可用性和稳定性。