简介
本次由Mysql同步到Mongod集群中,Mysql为1主2从MHA实现的高可用架构,Mongodb是由3个复制集组成的分片集群(测试环境mongos只有一个,安全起见应该启两个做高可用。config复制集一个)
集群架构如下
tabdata部署服务器
192.168.175.232
MySQL
192.168.175.206主
192.168.175.207从
192.168.175.208从
写节点:55,读节点199
MongoDB
192.168.175.233
192.168.175.234
192.168.175.235
每台虚拟机上开四个端口,三个复制集和一个config集群,两个mongos分别在233,235上,测试只开启235
复制集端口:27010,27011,27012,config复制集端口:27019,
mongos端口使用的是27017
搭建过程省略,贴出简略示意图
tapdata安装
1、登录页面:https://cloud.tapdata.net/
2、注册登录后,管理agent,标签右侧有个部署,点击进行下一步
3、部署页面中有Linux安装方法
tapdata在linux的安装方法
安装方法
• 1. 部署前请确认你的本地环境中已安装 java
• 2. 请复制下方命令并在本地部署环境执行,其包含 Tapdata Agent 的下载、自动部署及启动
• 3. 下载、部署 Tapdata Agent 无需 root 权限
• 4. 我们非常建议在一个独立、干净的文件夹内部署 Tapdata Agent
wget “http://resource.tapdata.net/package/feagent/v1.0.3-cloud/tapdata” && chmod +x tapdata && ./tapdata start backend --downloadUrl http://resource.tapdata.net/package/feagent/v1.0.3-cloud/ --token a/HZzXh5MDbwPGd8hCzZYYF0XXgDZ287oY34Sx3QAq5Z7zikkMRcI62kZHXq8RRJj6VrJcSY6ehw4iM8d8LW1eVxsdTr0OD8MUuFxeIPgTSdKKFDc/otA5YWsBj5I0q2JUz9111sL5gW8EaKeWRGuk7gjwFc4WjU3csOv1lyX2j7q7GRBZ0R+9BcicStdfweBriD8BPyIPvZcIkQZSqWf2NrRQSK4Bg7Th/o1TApEnLS5uOQOpVt7XyKjDs5QmfPAWOTr+pzUkl9kDN8i6feUf33HueRHxXXJKFpXZuMp/PtANgEeE9RlESQBCppYcv9duMKOi1/1vMt1rLryAF1t2/np9W7M1nSqCp5lDFN5lv4YpjBeVGByuYeXe+7QLjvE2DC5yBPJjACa+A5BBX1Fo99cMJNLMm1lg0+QuqsuZU1UP8tiw+iRgdNArRdxrRckMMIoj3gGPPscvjZsC4vbQ==
关闭 Tapdata Agent
./tapdata stop
启动 Tapdata Agent
./tapdata start backend
查看 Tapdata Agent 状态
./tapdata status
注意
Tapdata Agent 运行后会在 Tapdata 官网 Agent 管理页面自动注册,此时你可通过管理页面对其进行管控,也可在本地使用命令行方式对其进行管控,如果你的本地部署环境无法连通公网,那么你可能无法在 Agent 管理页面看到对应 Tapdata Agent
每个免费用户同一时刻只可运行一个Tapdata Agent
云端创建连接数据源
安装完成后,重新tapdata云端页面,创建数据源连接
在连接管理中,创建数据源,mysql正常提供IP,PORT,HOST即可正常连接,对于MongDB,要注意其URL的写法
我这里测试创建多添加了几个
通过可用数据源创建同步任务
开启户同步任务
备注:开启同步任务与上一步图中创建任务名称不同,还请使用时,开启自己创建的同名任务
点开运行监控选项,可见同步进度,与运行日志相关内容
下方可见运行日志及任务进度
同步进度信息
同步进度中的,传输耗时与同步差距
可以在Mongod分片集群中看到同步过来的信息
详细的请参考官方网站指导信息
https://cloud.tapdata.net/#/registry