云从ORACLE OLTP DB到Kafka的实时数据同步

你好，汤姆，


我在我的项目中有一个业务需求，能够从生产OLTP Oracle DB实时复制数据，这些数据对Kafka非常活跃，并最终在云中提供目标数据分析和机器学习。探索的选择之一是选择Goldengate。要求是发送每个表的所有列，而不考虑任何更新。在我看来，在DB或表级别启用完整的补充日志记录 (trandata) 将达到目的，但我们不想对源ORACLE OLTP DB有任何潜在的性能影响，因为这可能会影响其他系统。在同一行或任何其他工具中，是否有其他最佳实践/推荐的解决方案可以帮助满足我的业务需求？

感谢您对此的快速回应。



谢谢和问候，
Ankit Gadhiya

我认为Goldengate几乎是您在这里的唯一选择。曾经有一个名为dbvisit的第三方产品，但已停产。同样，Oracle内部的其他选项 (流，更改数据捕获) 现在也被弃用，以支持Goldengate

与更改系统I/O量的任何内容一样，我强烈建议您首先测试补充日志记录对非生产系统的影响。

对于具有足够I/O带宽的系统，补充日志记录几乎不是雷达上的亮点。但是对于他们的I/O已经非常接近最大吞吐量的系统，那么您不想添加任何可能将您推向悬崖边缘的东西。

我强烈建议的另一个是对需求的彻底调查: “发送每个表的所有列，而不考虑任何更新”。通常，这是一个企业的开放位置，因为它是最简单的 (即，没有人愿意承担评估它绝对需要的努力，所以我们只是去 “采取一切”)。如果你走那条路，这很好，但要明白，数据库最终是在努力而不是你付出代价。