暂无图片
ogg版本 11.2.1.0.3update获取的列如何获取全部列
我来答
分享
王多
2025-01-07
ogg版本 11.2.1.0.3update获取的列如何获取全部列

ogg拉取数据到kakfa的过程中update获取的列只有被修改的列,获取全部列FETCHCOLS(*)加上这个参数发现有的可以获取全部列有的只是获取指定列 大佬们知道什么原因吗

{
"table":"wdd.TEST",
"op_type":"U",
"op_ts":"2025-01-07 07:28:39.097574",
"current_ts":"2025-01-07T15:28:45.237000",
"pos":"00000000080003857077",

 "before":{
"FEE_ID":"10010",
"LAST_MAINT_TS":"2025-01-07 15:26:56",
"LAST_MAINT_USER_ID":"SYS"
},
"after":{
"FEE_ID":"10010",
"FEE_TYPE":"2",
"CD_ORDER":null,
"CD_BOX":"X16348602",
"DEPOT_ID":null,
"CD_ACC_ITEM":"EIRF",
"NM_ACC_ITEM":"设备交接单费",
"CD_COMP":"AMI022139",

"LAST_MAINT_TS":"2025-01-07 15:28:46",

 "LAST_MAINT_USER_ID":"SYS"

    }
}

我来答
添加附件
收藏
分享
问题补充
2条回答
默认
最新
吾亦可往

考虑以下几个维度

  1. 配置文件差异
    • 首先检查 OGG(Oracle GoldenGate)和 Kafka 相关的配置文件。可能在不同表的配置中,对于列获取的设置存在差异。例如,某些表在配置抽取(Extract)和投递(Delivery)进程时,可能有特定的列映射(Column Mapping)规则或者参数覆盖了FETCHCOLS(*)这个全局设置。
    • 查看 OGG 抽取进程的参数文件(通常是.prm文件),检查是否有针对wdd.TEST表或者其他相关表的COLSECTGETUPDATEBEFORES等类似参数。这些参数可能会影响列的抽取方式,导致部分表没有按照预期获取全部列。
  2. 数据类型和兼容性问题
    • 考虑数据类型和 Kafka 接收数据的兼容性。有些数据类型可能在 OGG 向 Kafka 传递过程中出现特殊情况。比如,某些复杂的数据类型(如用户自定义类型、大对象类型等)可能无法正确地按照FETCHCOLS(*)的要求进行处理。
    • 检查wdd.TEST表中列的数据类型,特别是那些没有获取全部列的情况。如果 Kafka 的连接器或者数据序列化方式对某些数据类型有特殊要求或者限制,可能会导致只获取部分列。例如,对于二进制数据类型或者时间戳数据类型,可能需要特殊的处理才能正确地获取和传递全部列的值。
  3. OGG 版本和特性差异
    • 不同版本的 OGG 可能对FETCHCOLS(*)参数的支持存在差异。有可能是在升级或者使用特定版本时,出现了一些未被发现的特性变化。
    • 查看 OGG 的版本信息,检查官方文档中关于该版本在列抽取和传递到 Kafka 方面的说明。可能存在已知的问题或者特殊的设置要求,导致部分表无法正确获取全部列。例如,某些版本可能对更新操作(U操作类型)的列抽取有不同的默认行为或者 Bug。
  4. Kafka 相关因素
    • 从 OGG 到 Kafka 的数据投递过程中,Kafka 的消费者或者连接器可能会对数据进行进一步处理。检查 Kafka 消费者配置,看是否有过滤或者转换数据的设置。
    • 例如,Kafka 的连接器可能会根据某些规则(如只关注特定列用于后续的流处理)对接收的数据进行二次筛选,导致看起来好像没有获取全部列。同时,检查 Kafka 主题(Topic)的配置,看是否有与数据格式或者列选择相关的设置。



如何查看ogg和kafka的版本?

检查ogg抽取进程的参数文件时有哪些注意事项?

怎样解决数据类型和kafka接收数据的兼容性问题?

暂无图片 评论
暂无图片 有用 2
打赏 0
JiekeXu
暂无图片

添加所有列补充日志试试

暂无图片 评论
暂无图片 有用 1
打赏 0
回答交流
Markdown


请输入正文
提交
相关推荐
Oracle数据库默认管理员账户
回答 2
为啥要改,如果是因为安全问题可以通过安全设置来规避
Oracle ogg 抽取进程里面表写重复了 在目标端应用 数据也会重复吗?
回答 1
已采纳
目标没有写重复吧;假设目标R进程也写重复,那肯定会重复入,不过有主键或者唯一约束会报错冲突。
用ogg做双向复制的疑问
回答 1
已采纳
感觉没问题。你应该是搭建了双向复制的环境。但是在具体某一时刻,客户端只访问单套RAC对吧。比如正常时,访问ARAC,ARAC出问题了,所有客户端都访问BRAC。这种情形下,不会因为客户同时更新A,B数
有对比过oracle 11.2.0.1.0和11.2.0.4.0数据泵的导入吗?
回答 1
没对比过,但是感觉都差不多,没有太明显的区别,可能也没有经常导入导出的工作
SQL优化改写
回答 2
oracle的优化器会根据不同的数据分布, 生成对应的执行计划, 不需要改写:  场景1的执行计划应该是b去重后Nested loopsa;&nbsp
Oracle如何选择手动和自动内存管理?
回答 1
已采纳
默认情况下,是自动PGA内存管理。最让DBA头疼的一件事就是设置数据库的各个参数,特别像SORT|HASHAREASIZE之类的参数。一些系统中的这些参数的值可能设置得相当小,以至于对性能造成了很大的
AWR分析报告问题求助:如何进行优化呢?PGA limit
回答 1
原始报告发出来看一下
Oracle如何把一列clob类型的数据在试图里合并在一个字段里?
回答 1
已采纳
这个,一般来说,推荐用dbmslob包中的append、copy等过程来处理,但一列数据逐行去处理实在太麻烦了。oracle中有个未公开的函数,这是我在整理oracle内部对象时发现的,网上对此函数唯
公司让我把现在oracle转的pg上,无从下手?
回答 5
已采纳
数据用etl工具导过去,对象需要重建,跟开发讨论下方案,难度一般
我想系统的学习下oracle,啥路线好些
回答 2
已采纳
看这里Oracle入门到精通https://www.modb.pro/path/323
问题信息
请登录之后查看
邀请回答
暂无人订阅该标签,敬请期待~~