步骤 5 修改zookeeper的配置文件:
vi ~/rel/antcdc/config/zookeeper.properties
按照实际情况进行配置:
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper【根据要求配置】
server.1=10.21.10.1:3188:3288
server.2=10.21.10.2:3188:3288
server.3=10.21.10.3:3188:3288
增加zookeeper的myid文件:mkdir /tmp/zookeeper【参考dataDir的配置】
echo 1 > /tmp/zookeeper/myid 【每台主机根据配置文件中的id加入myid文件,必须与配置文件中“server”后面的序号一一对应】
步骤 6 修改kafka的配置文件:vi ~/rel/antcdc/config/server.properties
按照实际情况进行配置:broker.id=0 【每台主机使用不同的id】
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://10.21.10.146:9092
log.dirs=kafka-logs【根据要求配置】
num.partitions=6
zookeeper.connect=10.21.10.146:2181,10.21.10.148:2181,10.21.10.149:2181
#对应3.2.2 步骤8启动的所有Zookeeper服务节点offsets.topic.
replication.factor=3replication.factor=3
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=3
步骤 7 修改kafka connect的配置文件vi ~/rel/antcdc/config/connect-distributed.properties
按照实际情况进行配置:bootstrap.servers=10.21.10.146:9092,10.21.10.148:9092,10.21.10.149:9092
#对应3.2.2 步骤9启动的所有kafka服务节点listeners=HTTP://10.21.10.146:8083
offset.storage.replication.factor=3
config.storage.replication.factor=3
status.storage.replication.factor=3
rest.extension.classes=com.ai.dbsync.metric.ext.DbSyncMetricRestExtension
plugin.path=dbsync-lib
步骤 8 调整JVM内存分配vi ~/rel/antcdc/config/mem-env
对于需要修改默认内存分配大小的,解除注释标志“#”,并按照实际情况进行配置:# ZOOKEEPER_JVM_HEAP="-Xms1G -Xmx1G"
# KAFKA_JVM_HEAP="-Xms1G -Xmx1G"
# CONNECTOR_JVM_HEAP="-Xms1G -Xmx1G"
关于AntDB数据库
电信级核心交易数据库AntDB 数据库始于 2008年,在运营商的核心系统上,为全国 24个省份的 10亿多用户提供在线服务;具备高性能、弹性扩展、高可靠等产品特性,每秒可处理十多万笔核心交易,并保障系统平稳运行超 10年零故障。 AntDB 广泛应用于通信、金融、交通、能源、物联网等多个行业,在 200多个项目上成功落地。