作者：十眠

1. ECS 故障节点上运行着 Kubernetes 集群的核心基础组件 CoreDNS 的所有 Pod，且低版本 Kubernetes 集群缺少 NodeLocal DNSCache 的特性，导致集群 DNS 解析出现问题。
   

   
   

2. 该客户的服务发现使用了有缺陷的客户端版本（Nacos-client 的 1.4.1 版本），这个版本的缺陷就是跟 DNS 有关——心跳请求在域名解析失败后，会导致进程后续不会再续约心跳，只有重启才能恢复。
   
   
3. 这个缺陷版本实际上是已知问题，阿里云在 5 月份推送了 Nacos-client 1.4.1 存在严重 bug 的公告，但客户研发未收到通知，进而在生产环境中使用了这个版本。

1. Provider 客户端在心跳续约时发生 DNS 异常；
   
   
2. 心跳线程未能正确地处理这个 DNS 异常，导致线程意外退出了；
   
   
3. 注册中心的正常机制是，心跳不续约，30 秒后自动下线。由于 CoreDNS 影响的是整个 Kubernetes 集群的 DNS 解析，所以 Provider 的所有实例都遇到相同的问题，整个服务所有实例都被下线；
   
   
4. 在 Consumer 这一侧，收到推送的空列表后，无法找到下游，那么调用它的上游（比如网关）就会发生异常。

服务发现高可用-推空保护

• 默认无侵入支持市面上近五年来的 Spring Cloud 与 Dubbo 框架

• 无关注册中心实现，无需升级 client 版本

服务发现高可用-离群实例摘除

• Request 处理的线程池满

• 依赖的 RDS 连接异常导致出现大量慢 SQL

• 某几台机器由于磁盘满，或者是宿主机资源争抢导致 load 很高

• 默认无侵入，支持市面上近五年来的 Spring Cloud 与 Dubbo 框架

• 无关注册中心实现，无需升级 client 版本

• 基于异常检测的摘除策略：包含网络异常和网络异常 + 业务异常（HTTP 5xx）

• 设置异常阈值、QPS 下限、摘除比例下限

• 摘除事件通知、钉钉群告警

• 已创建 Kubernetes 集群，请参见创建 Kubernetes 托管版集群^[1]。

• 已开通 MSE 微服务治理专业版，请参见开通 MSE 微服务治理^[2]。

开启 MSE 微服务治理

1、开通微服务治理专业版：

1. 单击开通 MSE 微服务治理^[3]。

   
   

2. 微服务治理版本选择专业版，选中服务协议，然后单击立即开通。关于微服务治理的计费详情，请参见价格说明^[4]。

2、安装 MSE 微服务治理组件：

1. 在容器服务控制台^[5]左侧导航栏中，选择市场 > 应用目录。
   
   
2. 在应用目录页面搜索框中输入 ack-mse-pilot，单击搜索图标，然后单击组件。
   
   
3. 在详情页面选择开通该组件的集群，然后单击创建。安装完成后，在命名空间 mse-pilotmse-pilot-ack-mse-pilot 应用，表示安装成功。

1. 登录 MSE 治理中心控制台^[6]。

   
   

2. 在左侧导航栏选择微服务治理中心 > Kubernetes 集群列表。

   
   

3. 在 Kubernetes 集群列表页面搜索目标集群，单击搜索图标，然后单击目标集群操作列下方的管理。

   
   

4. 在集群详情页面命名空间列表区域，单击目标命名空间操作列下方的开启微服务治理。

   
   

5. 在开启微服务治理对话框中单击确认。

部署 Demo 应用程序

1. 在容器服务控制台^[5]左侧导航栏中，单击集群。
   
   
2. 在集群列表页面中，单击目标集群名称或者目标集群右侧操作列下的详情。
   
   
3. 在集群管理页左侧导航栏中，选择工作负载 > 无状态。
   
   
4. 在无状态页面选择命名空间，然后单击使用 YAML 创建资源。
   
   
5. 对模板进行相关配置，完成配置后单击创建。本文示例中部署 sc-consumer、sc-consumer-empty、sc-provider，使用的是开源的 Nacos。

部署示例应用（springcloud）

# 开启推空保护的 sc-consumer
apiVersion: apps/v1
kind: Deployment
metadata:
  name: sc-consumer
spec:
  replicas: 1
  selector:
    matchLabels:
      app: sc-consumer
  template:
    metadata:
      annotations:
        msePilotCreateAppName: sc-consumer
      labels:
        app: sc-consumer
    spec:
      containers:
      - env:
        - name: JAVA_HOME
          value: /usr/lib/jvm/java-1.8-openjdk/jre
        - name: spring.cloud.nacos.discovery.server-addr
          value: nacos-server:8848
        - name: profiler.micro.service.registry.empty.push.reject.enable
          value: "true"
        image: registry.cn-hangzhou.aliyuncs.com/mse-demo-hz/demo:sc-consumer-0.1
        imagePullPolicy: Always
        name: sc-consumer
        ports:
        - containerPort: 18091
        livenessProbe:
          tcpSocket:
            port: 18091
          initialDelaySeconds: 10
          periodSeconds: 30
# 无推空保护的sc-consumer-empty
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: sc-consumer-empty
spec:
  replicas: 1
  selector:
    matchLabels:
      app: sc-consumer-empty
  template:
    metadata:
      annotations:
        msePilotCreateAppName: sc-consumer-empty
      labels:
        app: sc-consumer-empty
    spec:
      containers:
      - env:
        - name: JAVA_HOME
          value: /usr/lib/jvm/java-1.8-openjdk/jre
        - name: spring.cloud.nacos.discovery.server-addr
          value: nacos-server:8848
        image: registry.cn-hangzhou.aliyuncs.com/mse-demo-hz/demo:sc-consumer-0.1
        imagePullPolicy: Always
        name: sc-consumer-empty
        ports:
        - containerPort: 18091
        livenessProbe:
          tcpSocket:
            port: 18091
          initialDelaySeconds: 10
          periodSeconds: 30
# sc-provider
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: sc-provider
spec:
  replicas: 1
  selector:
    matchLabels:
      app: sc-provider
  strategy:
  template:
    metadata:
      annotations:
        msePilotCreateAppName: sc-provider
      labels:
        app: sc-provider
    spec:
      containers:
      - env:
        - name: JAVA_HOME
          value: /usr/lib/jvm/java-1.8-openjdk/jre
        - name: spring.cloud.nacos.discovery.server-addr
          value: nacos-server:8848
        image: registry.cn-hangzhou.aliyuncs.com/mse-demo-hz/demo:sc-provider-0.3
        imagePullPolicy: Always
        name: sc-provider
        ports:
        - containerPort: 18084
        livenessProbe:
          tcpSocket:
            port: 18084
          initialDelaySeconds: 10
          periodSeconds: 30
# Nacos Server
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nacos-server
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nacos-server
  template:
    metadata:
      labels:
        app: nacos-server
    spec:
      containers:
      - env:
        - name: MODE
          value: standalone
        image: nacos/nacos-server:latest
        imagePullPolicy: Always
        name: nacos-server
      dnsPolicy: ClusterFirst
      restartPolicy: Always


# Nacos Server Service 配置
---
apiVersion: v1
kind: Service
metadata:
  name: nacos-server
spec:
  ports:
  - port: 8848
    protocol: TCP
    targetPort: 8848
  selector:
    app: nacos-server
  type: ClusterIP

分别给 Consumer 应用增加 SLB 用于公网访问

• 编写测试脚本

while :
do
        result=`curl $1 -s`
        if [[ "$result" == *"500"* ]]; then
                echo `date +%F-%T` $result
        else
                echo `date +%F-%T` $result
        fi


        sleep 0.1
done

• 测试，分别开两个命令行，执行如下脚本，显示如下

• 将 coredns 组件缩容至数量 0，模拟 DNS 网络解析异常场景。

• 模拟 DNS 服务恢复，将其扩容回数量 2。

结果验证

• 只有重启了 Provider，sc-consumer-empty 才恢复正常

后续

[1] 创建 Kubernetes 托管版集群

https://help.aliyun.com/document_detail/95108.htm#task-skz-qwk-qfb

[2] 开通 MSE 微服务治理

https://help.aliyun.com/document_detail/347625.htm#task-2140253

[3] 开通 MSE 微服务治理

点击阅读原文，前往 MSE 官网查看更多！

了解更多相关信息，请扫描下方二维码或搜索微信号（AlibabaCloud888）添加云原生小助手！获取更多相关资讯！