Docker容器网络之服务名称或别名连接容器服务原理剖析

IT那活儿 2022-05-22

3350

点击上方“IT那活儿”公众号，关注后了解更多内容，不管IT什么活儿，干就完了！！！

概述

Docker 容器启动的时候，使用默认的 bridge 网络是不支持指派固定 IP 的；

每次Docker 容器重启时，会按照顺序获取对应的IP 地址，这个就导致重启Docker，容器的IP 地址会发生变化；

虽然可以通过创建自定义网络在启动容器时指定 IP ，但此问题不在本文章中阐述。

本文讲述的是 docker-compose 通过服务名或者别名连接容器服务的原理以及分析，其中主要涉及到 netfilter/iptables 防火墙，evth- pair 技术，DNS 等技术，由于 Docker 容器网络非常之复杂，本文不会对 docker 之外的技术以及 docker 无关本文的其它技术进行过多介绍。

关键字：evth-pair 技术，iptables，netfilter，embedded DNS server，Bridge，命名空间。

Docker五种网络模式介绍

veth-pair技术

veth-pair 技术在网桥中的应用：

图1 veth-pair

网桥是一种对帧转发的技术，工作在 OSI 七层模型中的第二层（数据链路层），在数据链路层使用 MAC 地址转发数据。

veth pair 是成对出现的一种虚拟网络设备接口，一端连着网络协议栈，一端彼此相连，如图1；正因为有这个特性，它充当着一个桥梁，连接着各种虚拟网络设备，常被用于构建虚拟网络拓扑。

通过与 Docker Bridge 网络相连，docker0 相当于一台交换机，可以中转 docker。

容器的流量，如图2 所示。

图2 docker0

Docker DNS实现

在早期的容器服务发现使用的是 docker link，通过修改容器内的 etc/hosts 文件来完成，其地址由 Docker 引擎维护，因此容器间才可以通过别名互访；这种方法存在很多的问题，目前已经过时不再使用。docker 自定义网络里的 dns（embedded DNS server），如图3 所示；

docker 会修改容器里的/etc/resolv.conf 文件，把 dns 服务器设置成 127.0.0.11，因为 127.0.0.0/8 地址都是本机回环地址，所以 dns 查询的时候实际上是把请求发给了自己。虽然是发给自己，但是还是要走 netfilter 的 nat 表的 output 链里把发往 127.0.0.11:53 的 UDP/TCP 包转到了127.0.0.11:<随机端口>

图 3embedded DNS server

*nat

:PREROUTING ACCEPT [2:168]

:INPUT ACCEPT [2:168]

:OUTPUT ACCEPT [9:620]

:POSTROUTING ACCEPT [17:1091]

:DOCKER_OUTPUT - [0:0]

:DOCKER_POSTROUTING - [0:0]

-A OUTPUT -d 127.0.0.11/32 -j DOCKER_OUTPUT

-A POSTROUTING -d 127.0.0.11/32 -j DOCKER_POSTROUTING

-A DOCKER_OUTPUT -d 127.0.0.11/32 -p tcp -m tcp --dport 53 -j DNAT --to-destination 127.0.0.11:45481

-A DOCKER_OUTPUT -d 127.0.0.11/32 -p udp -m udp --dport 53 -j DNAT --to-destination 127.0.0.11:46340

-A DOCKER_POSTROUTING -s 127.0.0.11/32 -p tcp -m tcp --sport 45481 -j SNAT --to-source :53

-A DOCKER_POSTROUTING -s 127.0.0.11/32 -p udp -m udp --sport 46340 -j SNAT --to-source :53 COMMIT

# Completed on Fri Mar 25 13:15:36 2022

表 1 容器 iptables

开始测试：

composetest_web_1

[root@VM-12-7-centos composetest]#
11 hours ago Up 10 hours 0.0.0.0:5000->5000/tcp, :::5000->5000/tcp
composetest_redis_1

af90b8c4350f composetest_web "flask run"

表 2 docker ps

进入 composetest_redis_1 容器使用 netstat -anp 查看发现是 dockerd 在监听TCP 3971/UDP 46340 端口，等 DNS 请求又回环到filter 表的input 链的时候dockerd 就接到了这个请求;

dockerd 自身处理这些请求，处理不了的要发给宿主机配置的dns 服务器。当端点加入网络时，dockerd 将设置一个 DNS 服务器，只需创建一个套接字并在容器 netns 中监听，这个套接字在主机 netns 中接受，由 dockerd 处理。

[root@VM-12-7-centos composetest]# netstat -pantu

Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address
Foreign Address
State
PID/Program name

表 3 查看容器网络连接

[root@VM-12-7-centos composetest]# nc -nvz 127.0.0.11 53 Ncat: Version 7.50 ( https://nmap.org/ncat )
Ncat: Connected to 127.0.0.11:53.

Ncat: 0 bytes sent, 0 bytes received in 0.01 seconds.

表 4 测试容器 DNS 连通性

表 5 通过 docker 守护进程查找 TCP/UDP 套接字

[root@VM-12-7-centos composetest]# lsof -o 3917|egrep 'UDP|TCP'

[root@VM-12-7-centos composetest]# docker inspect composetest_redis_1|grep Pid "Pid": 17693,
"PidMode": "",

"PidsLimit": null,

表 6 查找容器线程 id

[root@VM-12-7-centos composetest]# ll /proc/17693/ns/net

lrwxrwxrwx 1 polkitd mysql 0 Mar 25 10:07 /proc/17693/ns/net -> net:[4026532226]

表 7 查找容器网络命名空间

[root@VM-12-7-centos composetest]# ln -s /proc/17662/ns/net /var/run/netns/composetest_web_1 [root@VM-12-7-centos composetest]#
[root@VM-12-7-centos composetest]# ll /var/run/netns/composetest_web_1

lrwxrwxrwx 1 root root 18 Mar 25 04:52 /var/run/netns/composetest_web_1 -> /proc/17662/ns/net

表 8 容器命名空间软连接到宿主机命名空间

[root@VM-12-7-centos ~]# ip netns exec composetest_web_1 ping baidu.com PING baidu.com (220.181.38.251) 56(84) bytes of data.
64 bytes from 220.181.38.251 (220.181.38.251): icmp_seq=1 ttl=48 time=27.5 ms

64 bytes from 220.181.38.251 (220.181.38.251): icmp_seq=2 ttl=48 time=27.4 ms

^C
--- baidu.com ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1000ms rtt min/avg/max/mdev = 27.441/27.495/27.549/0.054 ms

表 9 通过别名或者服务名验证容器连通性 1

/ code # ping web

PING web (172.18.0.2): 56 data bytes

64 bytes from 172.18.0.2: seq=0 ttl=64 time=0.031 ms 64 bytes from 172.18.0.2: seq=1 ttl=64 time=0.059 ms
^C

--- web ping statistics ---

2 packets transmitted, 2 packets received, 0% packet loss round-trip min/avg/max = 0.031/0.045/0.059 ms
/code #

/ code # ping redis

PING redis (172.18.0.3): 56 data bytes

64 bytes from 172.18.0.3: seq=0 ttl=64 time=0.071 ms 64 bytes from 172.18.0.3: seq=1 ttl=64 time=0.073 ms 64 bytes from 172.18.0.3: seq=2 ttl=64 time=0.076 ms
^C

--- redis ping statistics ---

3 packets transmitted, 3 packets received, 0% packet loss round-trip min/avg/max = 0.071/0.073/0.076 ms
/code #

表 10 通过别名或者服务名验证容器连通性 2

实验环境：

[root@VM-12-7-centos ~]# cat /etc/*release CentOS Linux release 7.6.1810 (Core)
[root@VM-12-7-centos ~]# docker --version

Docker version 20.10.14, build a224086

实验配置：

[root@VM-12-7-centos composetest]# pwd

/root/composetest

[root@VM-12-7-centos composetest]#

[root@VM-12-7-centos composetest]# cat requirements.txt flask
redis

[root@VM-12-7-centos composetest]#

[root@VM-12-7-centos composetest]# cat Dockerfile FROM python:3.7-alpine
WORKDIR /code

ENV FLASK_APP app.py

ENV FLASK_RUN_HOST 0.0.0.0

RUN apk add --no-cache gcc musl-dev linux-headers COPY requirements.txt requirements.txt
RUN pip install -r requirements.txt COPY . .
CMD ["flask", "run"]

[root@VM-12-7-centos composetest]# [root@VM-12-7-centos composetest]#
[root@VM-12-7-centos composetest]# cat docker-compose.yml # yaml 配置
version: '3' services:
web:
build: . ports:
- "5000:5000"

redis:

image: "redis:alpine"

[root@VM-12-7-centos composetest]# [root@VM-12-7-centos composetest]# [root@VM-12-7-centos composetest]# cat app.py import time

import redis

from flask import Flask

app = Flask( name )

cache = redis.Redis(host='redis', port=6379)

def get_hit_count(): retries = 5 while True:
try:

return cache.incr('hits')

except redis.exceptions.ConnectionError as exc: if retries == 0:
raise exc retries -= 1 time.sleep(0.5)

@app.route('/') def hello():
count = get_hit_count()

return 'Hello World! I have been seen {} times.\n'.format(count) [root@VM-12-7-centos composetest]#
[root@VM-12-7-centos composetest]#docker-compose up -d

END

本文作者：潘安

本文来源：IT那活儿（上海新炬王翦团队）

centos docker 容器技术容器 dns

文章转载自IT那活儿，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。