Debezium 的 WEB UI 管理

说明

• 参考： https://debezium.io/documentation/reference/operations/debezium-ui.html
• Debezium UI 允许用户更轻松地设置和操作连接器，目前此功能还不成熟。
• Debezium UI 是基于 Quarkus-based 的 Web 应用程序。 后端配置有一个或多个 Kafka Connect 集群的 URL，并为前端提供 REST 接口。 前端用户界面使用 ReactJS 作为主要技术，利用 Patternfly 反应组件和设计模式。

Docker 运行 Debezium UI

• 独立运行

$ docker run -it --rm --name debezium-ui -p 8080:8080 -e KAFKA_CONNECT_URIS=http://connect:8083 debezium/debezium-ui:{debezium-version}

• docker-compose

  debezium-ui:
    image: quay.io/debezium/debezium-ui:${DEBEZIUM_VERSION}
    ports:
     - 8812:8080
    links:
     - connect
    depends_on:
     - connect    
    environment:
     - KAFKA_CONNECT_URIS=http://connect:8083

创建连接器向导

Step 1：选择连接器类型

• 目前支持 MongoDB、MySQL 和 PostgreSQL 连接器类型。

Step 2：配置连接器的基本属性

Step 3：配置连接器的高级属性(可选)

Validate 验证所配置的属性

Step 4：配置连接器的附加选项(可选)

Step 5：复查并执行创建

管理连接器

查看连接器列表

支持对连接器进行 暂停、恢复、重新启动或删除 操作

通过命令行创建的连接器也会进行管理

[root@docker tutorial]# cat register-postgres-datatype.json
{
    "name": "inventory-connector-datatype2",
    "config": {
        "connector.class": "io.debezium.connector.postgresql.PostgresConnector",
        "tasks.max": "1",
        "database.hostname": "postgres",
        "database.port": "5432",
        "database.user": "postgres",
        "database.password": "postgres",
        "database.dbname" : "test_dml",
        "database.server.name": "datatype2",
        "snapshot.mode": "always",
        "schema.include.list": "test",
        "decimal.handling.mode": "double",
        "slot.name": "data_type_slot2"
    }
}

curl -i -X POST -H "Accept:application/json" -H  "Content-Type:application/json" http://localhost:8083/connectors/ -d @register-postgres-key.json

Kafka 的监控 EFAK(Eagle)，开源的

• 官方网站：https://www.kafka-eagle.org/index.html

docker-compose，nnzbz/efak 的镜像下载有点慢

  efak:
    image: nnzbz/efak:latest
    ports:
      - 8813:8048
    links:
     - kafka
     - zookeeper
    environment:
     - ZK_HOSTS=zookeeper:2181

默认用户和密码：admin/123456

主界面

ZK & Kafka ，需要开启 JMX 的端口

• 部分监控数据获取不到，需要开启 JMX 的端口
  http://www.kafka-eagle.org/articles/docs/quickstart/metrics.html

# 修改 Kafka 的启动脚本
[root@docker ~]# docker inspect tutorial-kafka-1 |grep MergedDir
                "MergedDir": "/var/lib/docker/overlay2/c71d8dfa0bded1cc7f11d6c48a81b3d61ea327c043c5a6934231dbacb69bca97/merged",
[root@docker ~]# cd /var/lib/docker/overlay2/c71d8dfa0bded1cc7f11d6c48a81b3d61ea327c043c5a6934231dbacb69bca97/merged
[root@docker merged]# vi kafka/bin/kafka-server-start.sh

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
#    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
    export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
    export JMX_PORT="9999"
fi

# 修改 zookeeper
[root@docker ~]# docker inspect tutorial-zookeeper-1 |grep MergedDir
                "MergedDir": "/var/lib/docker/overlay2/aa54d824e6edb879ac0b35325715817b07df158676106004eddd3b3b3d646ffc/merged",
[root@docker ~]# cd /var/lib/docker/overlay2/aa54d824e6edb879ac0b35325715817b07df158676106004eddd3b3b3d646ffc/merged
[root@docker merged]# vi zookeeper/bin/zkServer.sh
# 在第77行处添加
ZOOMAIN="-Dzookeeper.4lw.commands.whitelist=* ${ZOOMAIN}"

# 重新启动
[root@docker tutorial]# export DEBEZIUM_VERSION=1.9
[root@docker tutorial]# /root/docker-compose -f docker-compose-postgres.yaml restart zookeeper
[root@docker tutorial]# /root/docker-compose -f docker-compose-postgres.yaml restart kafka

连接器

• 添加连接器

监控大屏