近期某项目的数据中台ETL作业出现频繁的执行超时告警情况,梳理过整个执行流程之后,发现耗时主要体现在一个转换上,这个转换抽取DB2数据库中的一张全量表到数据中台,由于数据量比较大,所以导致执行缓慢,和业务部门讨论之后决定采用增量抽取的方式来减少执行时间,但是在执行增量抽取SQL的时候发现一直还是全量,增量条件不起作用,如下图所示:
之前一直尝试在原来的SQL上进行修改测试,发现怎么改都不生效,后来自己单独重写了SQL进行测试发现居然起作用了,经过对比发现两个SQL唯一的区别就是多了注释部分,删除注释,问题解决:







总 结:

本文作者:周建伟(上海新炬中北团队)
本文来源:“IT那活儿”公众号

文章转载自IT那活儿,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。
评论
相关阅读
2025年4月中国数据库流行度排行榜:OB高分复登顶,崖山稳驭撼十强
墨天轮编辑部
2457次阅读
2025-04-09 15:33:27
数据库国产化替代深化:DBA的机遇与挑战
代晓磊
1136次阅读
2025-04-27 16:53:22
2025年3月国产数据库中标情况一览:TDSQL大单622万、GaussDB大单581万……
通讯员
816次阅读
2025-04-10 15:35:48
2025年4月国产数据库中标情况一览:4个千万元级项目,GaussDB与OceanBase大放异彩!
通讯员
646次阅读
2025-04-30 15:24:06
数据库,没有关税却有壁垒
多明戈教你玩狼人杀
563次阅读
2025-04-11 09:38:42
天津市政府数据库框采结果公布,7家数据库产品入选!
通讯员
548次阅读
2025-04-10 12:32:35
国产数据库需要扩大场景覆盖面才能在竞争中更有优势
白鳝的洞穴
527次阅读
2025-04-14 09:40:20
【活动】分享你的压箱底干货文档,三篇解锁进阶奖励!
墨天轮编辑部
451次阅读
2025-04-17 17:02:24
一页概览:Oracle GoldenGate
甲骨文云技术
450次阅读
2025-04-30 12:17:56
GoldenDB数据库v7.2焕新发布,助力全行业数据库平滑替代
GoldenDB分布式数据库
437次阅读
2025-04-30 12:17:50