kubernetes 跨网段 pod 网络不通问题

51reboot运维开发 2020-09-03

2955

点击上方蓝色字体，关注我们

kubernetes 跨网段问题

k8s 的 master 是10.10.10.0网段，新加了一些 node，网段是172.16.100.0网段，造成容器直接网络不能相互访问。

部署 k8s 的时候也部署了 flannel，它提供容器的跨主机通信支持的。部署参考，flannel 中 vxlan 原理参考（http://dockone.io/article/2216）

二个网段不能互通，首先想到的被防火墙禁止了；尝试清理 iptables 防火墙，结果还是不行。iptables -P OUTPUT ACCEPT && iptables -P FORWARD ACCEPT && iptables -F && IPtables -L -n 一定要注意下清理防火墙一定要 iptables -P OUTPUT ACCEPT，否则连不上就悲剧了。

然后查了 etcd 的 Pod 网段信息。发现了问题。解决如下：

> etcdctl ls -r #列出键值存储的目录
> etcdctl get /flannel/network/config #查看键值存储
{"Network":"10.233.0.0/16","SubnetLen":25,"Backend":{"Type":"host-gw","VNI":1}} #host-gw介绍如下

在数据层面，flannel 支持基于路由的互联方案如 host-gw、AliVPC、AWS VPC、GCE 和基于封装的路由方案如 UDP 封装、vxlan 封装、IPIP 和 IPSec 等

host-gw 模式通过建立主机 IP 到主机上对应 flannel 子网的 mapping，以直接路由的方式联通 flannel 的各个子网。这种互联方式没有 vxlan 等封装方式带来的负担，通过路由机制，实现 flannel 网络数据包在主机之间的转发。但是这种方式也有不足，那就是所有节点之间都要相互有点对点的路由覆盖，并且所有加入 flannel 网络的主机需要在同一个 LAN 里面
VXLAN 是一个在已有的3层物理网络上构建2层逻辑网络的协议。参考了如下资料。

vxlan 协议原理简介 https://cizixs.com/2017/09/25/vxlan-protocol-introduction/
VXLAN 技术研究 https://blog.csdn.net/sinat_31828101/article/details/50504656
Flannel 中 vxlan backend 的原理和实现 http://dockone.io/article/2216

> etcdctl set /flannel/network/config '{"Network":"10.233.0.0/16","SubnetLen":25,"Backend":{"Type":"vxlan","VNI":1}}'  #修改成vxlan

> route # 重启flannel后 查看路由
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
default gateway 0.0.0.0 UG 300 0 0 bond0
10.233.20.128 0.0.0.0 255.255.255.128 U 0 0 0 docker0
10.233.21.0 10.233.21.0 255.255.255.128 UG 0 0 0 flannel.1
10.233.27.0 10.233.27.0 255.255.255.128 UG 0 0 0 flannel.1

出处：http://dwz.date/csW8

课程地址：https://ke.qq.com/course/package/26871?tuin=31589b0e

付费社群、K8S课程详情

扫码咨询>>>

●整理 kubernetes 各种问题汇总

●Istio 故障注入之中止(httpStatus)

●Istio 故障注入之延时(fixedDelay)

●K8S 上部署 Redis-cluster 三主三从集群

●运维精华

数据库

文章转载自51reboot运维开发，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

kubernetes 跨网段 pod 网络不通问题

评论