暂无图片
ogg同步数据到kafka,topic中查不到
我来答
分享
发粪的小青年
2024-01-19
ogg同步数据到kafka,topic中查不到

我想将本地Oracle库中的表,用ogg同步到kafka中

现在的情况是,我所有的服务都已经起来了,并且日志也没有报错情况,源端和目标端的dirdat都有文件,但是在topic中查不到数据,麻烦帮我排除一下是什么原因呢,下面是我所用到的版本、服务以及kafka的配置文件,非常感谢!


源端(本地):Windows10,Oracle Database 11g,ogg_Windows_x64_Oracle_shiphome_21.3.0.0.1

目标端(虚机):Linux,OGG_BigData_Linux_x64_19.1.0.0.13, kafka_2.11

Linux节点服务情况:

Faded102节点服务 
3344 JobHistoryServer
2992 DataNode
2737 QuorumPeerMain
2885 NameNode
3271 NodeManager
3386 RunJar
3660 Kafka
4094 Jps
4015
Faded103节点服务
2737 DataNode
2979 NodeManager
3364 Kafka
2869 ResourceManager
3789 Jps
2670 QuorumPeerMain
Faded104节点服务
2917 NodeManager
2727 DataNode
3547 Jps
2667 QuorumPeerMain
2797 SecondaryNameNode
3101 Kafka

Linux目标端Kafka配置文件:

[root@faded102 dirprm]# cat kafka.props
gg.handlerlist = kafkahandler
gg.handler.kafkahandler.type=kafka
gg.handler.kafkahandler.topicMappingTemplate=oggs0118
gg.handler.kafkahandler.KafkaProducerConfigFile=custom_kafka_producer.properties
gg.handler.kafkahandler.BlockingSend =false
gg.handler.kafkahandler.includeTokens=false
gg.handler.kafkahandler.mode=op
gg.handler.kafkahandler.format=json
gg.handler.kafkahandler.format.includePrimaryKeys=true
gg.handler.kafkahandler.format.insertOpKey=I
gg.handler.kafkahandler.format.updateOpKey=U
gg.handler.kafkahandler.format.deleteOpKey=D
gg.handler.kafkahandler.transactionsEnabled=false
goldengate.userexit.writers=javawriter
javawriter.stats.display=true
javawriter.stats.full=true
gg.log=log4j
gg.log.level=INFO
gg.report.time=30sec
gg.classpath=dirprm/:/opt/module/kafka_2.11-0.11.0.2/libs/*:/opt/module/ogg/:/opt/module/ogg/lib/*
javawriter.bootoptions=-Xmx512m -Xms32m -Djava.class.path=ggjava/ggjava.jar 

[root@faded102 dirprm]# cat custom_kafka_producer.properties
bootstrap.servers=faded102:9092,faded103:9092,faded104:9092
acks=1
#compression.type=gzip
reconnect.backoff.ms=1000
value.serializer=org.apache.kafka.common.serialization.ByteArraySerializer
key.serializer=org.apache.kafka.common.serialization.ByteArraySerializer
batch.size=16384
linger.ms=10000

ogg源端服务:

    GGSCI (DESKTOP-VH529O0) 5> info all
    Program Status Group Lag at Chkpt Time Since Chkpt
    MANAGER RUNNING
    EXTRACT RUNNING EXTKAFKA 00:00:00 00:00:00
    EXTRACT RUNNING PUKAFKA 00:00:00 00:00:01

Linux目标端服务:

    GGSCI (faded102) 4> info all

    Program Status Group Lag at Chkpt Time Since Chkpt
    MANAGER RUNNING
    REPLICAT RUNNING REKAFKA 00:00:00 00:00:00

我来答
添加附件
收藏
分享
问题补充
2条回答
默认
最新
Ellison
OGG将Oracle全量同步到kafka:https://zhuanlan.zhihu.com/p/665689409

使用OGG实现Oracle到kafka数据同步(详细版本):https://blog.csdn.net/Kayleigh520/article/details/128547855

Oracle同步数据到kafka的方法:https://www.jb51.net/article/236664.htm



暂无图片 评论
暂无图片 有用 7
打赏 0
发粪的小青年
题主
2024-01-19
感谢回答,你发的链接我看过了,和我之前在网上看的教程都类似,步骤也都差不多,我也检查了很多遍配置文件,还是不行
发粪的小青年
题主
2024-01-19
现在不知道是不是版本的原因,还是什么其他原因,搞不懂
刘贵宾
  • topic名称不正确。检查 kafka.props 配置文件中定义的 topicMappingTemplate 是否正确。topic 名称必须与目标端 Kafka 集群中存在的 topic 名称一致。
  • 数据格式不正确。检查 kafka.props 配置文件中定义的 gg.handler.kafkahandler.format 是否正确。格式必须与目标端 Kafka 集群中定义的 topic 的序列化器类型一致。
  • 数据没有发送到 Kafka。检查 kafka.props 配置文件中定义的 gg.handler.kafkahandler.BlockingSend 是否为 false。如果为 true,则数据将在内存中缓冲,直到发送成功。如果为 false,则数据将立即发送到 Kafka。
暂无图片 评论
暂无图片 有用 5
打赏 0
发粪的小青年
题主
2024-01-22
感谢您的回答,您说的这三点我看了 ,1、topic名称正确 2、数据格式都是json 3、gg.handler.kafkahandler.BlockingSend 是false
回答交流
Markdown


请输入正文
提交
相关推荐
Oracle 导入dmp文件 其中一张表特别大,四千万行数据 导入失败 IMP-00009: 导出文件异常结束,怎么解决?
回答 2
根据实际情况,调整undoretention参数大小,直到能够正常导出数据为止。修改参数undoretention不重启altersystemsetundoretention36000scopebot
AWR分析报告问题求助:如何去优化
回答 2
感谢大佬我研究一下
CBO分几种模式,有什么区别,如何设定查看?
回答 4
已采纳
PARAMETERNAMEORDPVALIDVALUEISDEFAoptimizermode1RULEoptimizermode2CHOOSEoptimizermode3ALLROWSoptimize
Oracle性能检测的工具有什么?
回答 2
性能测试工具吧,我一般用benchmarksql,模拟tpcc的基准测试。
奋斗的方向
回答 5
明显走错片场了
Oracle anydata 类型的应用场景
回答 2
已采纳
数据存储的灵活性异构数据存储:在一些复杂的数据整合场景中,可能需要将来自不同数据源的数据存储到同一个表中。这些数据源的数据类型可能各不相同。例如,一个企业可能需要整合来自不同部门的数据,销售部门提供的
Oracle expdp导出 schemas 这个参数有什么作用?
回答 3
expdp参数DIRECTORY:用于转储文件和日志文件的目录对象。DUMPFILE:指定导出备份文件的命名。LOGFILE:指定导出备份日志的命名。里面记录了备份中的信息。FULL:导出整个数据库(
SQL语句编写咨询
回答 3
没有写哪种数据库和相关版本哦,不同数据库SQL的写法有差异
大神们,19C 的19.11.0.0的RAC经常有这个对象:SVCOBJ_ACCESS 产生锁。不知道啥原因。有人遇到过么?
回答 1
请将问题详细描述一下
oracle查看执行失败的sql怎么看 在 v$sqlarea v$sql里都看不到 ,怎么解决?
回答 1
抓取对应时间段的ASH报告,根据报告找找。