我有一同学做工业物联网方面,他们弄了一小黑盒(带操作系统),放在客户环境,他们想做数据采集,细聊了一下需求,觉得用PG挺合适的,下面分享下的实现。
1. 系统架构图
- 每个客户环境内部可以看成是一个局域网,需要有一个本地PG库,本地PG库与客户实际数据库之间通过FDW进行数据交换。
- 客户环境里的本地PG库与中心PG库通过逻辑复制单向传输数据。
2. 系统组件
- 数据采集目标环境:中心PG数据库
- 客户环境:Centos+本地PG数据库+FDW插件+JavaWeb中间件
3. Web界面功能
- 定义数据源
- 解析数据源(获取表元数据)
- 添加任务表
- 任务调度
4. 已完成的功能
- 通过Web界面配置参数后即可自动开启数据采集同步任务。
- 支持mysql、oracle、sqlserver数据库单表的全部字段或部分字段单向同步至中心PostgreSQL数据库。
- 本地PostgreSQL库与中心PostgreSQL之间基于WAL日志增量同步
- 本地PostgreSQL与其他库之间目前是全量同步,可以优化。
最后修改时间:2020-01-20 14:34:12
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。
文章被以下合辑收录
评论
PostgreSQL+FDW+SpringMVC实现异构数据库数据采集
2月前

评论
相关阅读
王炸!OGG 23ai 终于支持从PostgreSQL备库抽取数据了
曹海峰
408次阅读
2025-03-09 12:54:06
玩一玩系列——玩玩login_hook(一款即将停止维护的PostgreSQL登录插件)
小满未满、
376次阅读
2025-03-08 18:19:28
明明想执行的SQL是DELETE、UPDATE,但为什么看到的是SELECT(FDW的实现原理解析)
小满未满、
355次阅读
2025-03-19 23:11:26
PostgreSQL初/中/高级认证考试(3.15)通过考生公示
开源软件联盟PostgreSQL分会
310次阅读
2025-03-20 09:50:36
IvorySQL 4.4 发布 - 基于 PostgreSQL 17.4,增强平台支持
通讯员
199次阅读
2025-03-20 15:31:04
套壳论
梧桐
196次阅读
2025-03-09 10:58:17
命名不规范,事后泪两行
xiongcc
185次阅读
2025-03-13 14:26:08
PG vs MySQL 执行计划解读的异同点
进击的CJR
125次阅读
2025-03-21 10:50:08
版本发布| IvorySQL 4.4 发布
IvorySQL开源数据库社区
115次阅读
2025-03-13 09:52:33
宝藏PEV,助力你成为SQL优化高手
xiongcc
115次阅读
2025-03-09 23:34:23