暂无图片
ogg 抽取数据延时大
我来答
分享
respark
2022-07-13
ogg 抽取数据延时大
暂无图片 50M

数据库impdp导入了一批新数据,产生了3T归档,OGG的抽取进程延时有40小时,trace显示一直在读redo

General statistics:
0.00% Checking messages (includes checkpointing)
0.00% Checking periodic tasks
0.00% Waiting for more data
0.00% Converting ASCII data to internal
0.00% Reading input records
0.00% Writing output records (replicate_io)
0.00% Mapping columns
0.00% Outputting data records
0.00% Performing SQL statements
0.00% Executing BATCHSQL statements
0.00% Executing SQL statements
0.00% Preparing SQL statements
0.00% Commit operations
0.00% Rollback operations
0.00% Checkpointing

Redo log statistics:
0.06% Opening redo log file
0.00% Positioning into redo log file
95.94% Reading record from redo log file
0.69% Extracting subrecord from redo record
0.00% Retrieving and processing transaction items 

我来答
添加附件
收藏
分享
问题补充
10条回答
默认
最新
respark

微信图片_20220713154805.jpg

暂无图片 评论
暂无图片 有用 0
打赏 0
暂无图片
respark
上传附件:trace.zip
暂无图片 评论
暂无图片 有用 0
打赏 0
respark
升级问题到: 紧急故障
暂无图片 评论
暂无图片 有用 0
打赏 0
respark
题主
2022-07-13
CPU,内存,磁盘IO都检查过了不高
Root__Liu

归档满了吧

暂无图片 评论
暂无图片 有用 0
打赏 0
Root__Liu

1、检查下归档空间,是不是归档满了。

2、select * from v$log;

      select * from v$Logfile;

看看是不是redo logfile大小不足,current或者active的多。

3、检查堵塞链,看看有没有异常等待事件。

暂无图片 评论
暂无图片 有用 0
打赏 0
respark
题主
2022-07-14
数据库正常,没有负载,归档空间也没满

从你发的日志看确实一直在读重做日志,不知道你当时具体是怎么操作的?一个impdp会产生3T归档,/惊;然后你impdp进去的表也是在ogg抽取的队列内么?

暂无图片 评论
暂无图片 有用 0
打赏 0
respark
题主
2022-07-14
重置数据,大部分表都在队列内,这种读日志的过程有没有办法优化的?磁盘的IO并不高,能不能让ogg读得更快点
答主
2022-07-14
那你操作上应该这样:先停了ogg,再impdp,导入完成再去开ogg,而且还需要根据情况设置抽取时间点;这样重置源端数据还有要考虑对目标端的影响哦
薛晓刚

任何CDC的工具,包括OGG对于大事务,尤其您这样3T的都是处理不好,甚至无法处理的。

暂无图片 评论
暂无图片 有用 0
打赏 0
respark
题主
2022-07-14
现在是一直在处理,也没有报错,感觉处理得太慢,机器负载又不高,想有没有办法调优
刘贵宾

view params extract   截图看一下进程参数配置

暂无图片 评论
暂无图片 有用 0
打赏 0
respark


暂无图片 评论
暂无图片 有用 0
打赏 0
杨卓

你这个是由于经典模式OGG抽取是读取所有redo,然后filter过滤日志。 大量的数据导入,短时间内产生大量的redo导致OGG进程延迟。 正常,如果你想解决这个:
1.合并OGG进程,减少抽取进程,减少IO;
2.模式换成集成模式抽取进程;
3.减少数据泵导入产生的redo,但这个是个伪命题
transform=disable_archive_logging:y”运行 DataPump 导入作业时仍会生成存档日志
12c数据泵导入可以减少redo的产生,但是OGG服务器db一般是建议force logging那么这个参数也无效!

暂无图片 评论
暂无图片 有用 0
打赏 0
回答交流
Markdown


请输入正文
提交
相关推荐
ogg日志有没有办法不输出到message?
回答 4
不折腾了,我看MOS上也是这么写的,MOS也会犯错哈哈。
OGG同步加触发器不同步
回答 3
目标端加上DBOPTIONSNOSUPPRESSTRIGGERS,目标端启用触发器可能会导致延迟卡住,可自行测试看。
OGG-01154 ORA-01555: snapshot too old
回答 1
在该进程的参数里,加入这句:GROUPTRANSOPS10  再启动该进程试试。
ogg复制进程初次启动报1001-ORA-01001: invalid cursor
回答 1
已采纳
升级问题到:紧急故障
ERROR OGG-01224 Oracle GoldenGate Capture for Oracle,
回答 2
telnet192.168.176.1277810通不通?确认目标ip及oggmgr服务是否开启正常。检查网络策略。
有Oracle11g集群上面搭建OGG的文档吗?
回答 2
可参考我这篇https://www.modb.pro/db/417525,利用OGG将11gRAC数据同步到19cRAC.
OGG同步如何才能达到毫秒级?
回答 3
eofdelaycsecsflushcsecs都设置到最小,系统性能,网络OK的话可以达到毫秒级,仅限测试,生产我估计也比较难
ogg里用多个filter语法应该怎么写?
回答 2
试下用whereMAPpdb1.hr.employees,TARGETorclpdb.user1.employees,where(@strfind(jobid,‘ADVP’)>0and@strf
mysql-kafka OGG before和after的问题
回答 2
感谢回复。我下午跟同事测了一下,发现text字段如果字符数非常多,就会出现这个问题。oggformysql的版本是12.2.0.1。目前还没找到解决办法。
OGG同步Mysql抽取进程中断无报错生成
回答 1
给你ChatGPT搜了一下,你可以参考看看检查连接稳定性:确保源数据库和目标数据库之间的网络连接是稳定的,并且没有任何网络问题导致抽取进程中断。检查网络连接是否频繁断开或出现延迟,并尝试解决任何与网络