暂无图片
暂无图片
1
暂无图片
暂无图片
1
暂无图片

PostgreSQL+FDW+SpringMVC实现异构数据库数据采集

原创 多米爸比 2019-12-24
1656

我有一同学做工业物联网方面,他们弄了一小黑盒(带操作系统),放在客户环境,他们想做数据采集,细聊了一下需求,觉得用PG挺合适的,下面分享下的实现。

1. 系统架构图

4.png

  • 每个客户环境内部可以看成是一个局域网,需要有一个本地PG库,本地PG库与客户实际数据库之间通过FDW进行数据交换。
  • 客户环境里的本地PG库与中心PG库通过逻辑复制单向传输数据。

2. 系统组件

  • 数据采集目标环境:中心PG数据库
  • 客户环境:Centos+本地PG数据库+FDW插件+JavaWeb中间件

3. Web界面功能

  • 定义数据源
    1.png
  • 解析数据源(获取表元数据)
    21.png
  • 添加任务表
    31.png
  • 任务调度
    41.png

4. 已完成的功能

  • 通过Web界面配置参数后即可自动开启数据采集同步任务。
  • 支持mysql、oracle、sqlserver数据库单表的全部字段或部分字段单向同步至中心PostgreSQL数据库。
  • 本地PostgreSQL库与中心PostgreSQL之间基于WAL日志增量同步
  • 本地PostgreSQL与其他库之间目前是全量同步,可以优化。
最后修改时间:2020-01-20 14:34:12
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

文章被以下合辑收录

评论

冷狼
暂无图片
2月前
评论
暂无图片 0
PostgreSQL+FDW+SpringMVC实现异构数据库数据采集
2月前
暂无图片 点赞
评论