暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

数据同步工具tapdata使用测试(mysql-->mongodb)

原创 shynodes 云和恩墨 2021-12-31
1840

简介

本次由Mysql同步到Mongod集群中,Mysql为1主2从MHA实现的高可用架构,Mongodb是由3个复制集组成的分片集群(测试环境mongos只有一个,安全起见应该启两个做高可用。config复制集一个)

集群架构如下

tabdata部署服务器

192.168.175.232

MySQL

192.168.175.206主

192.168.175.207从

192.168.175.208从

写节点:55,读节点199

MongoDB

192.168.175.233

192.168.175.234

192.168.175.235

每台虚拟机上开四个端口,三个复制集和一个config集群,两个mongos分别在233,235上,测试只开启235

复制集端口:27010,27011,27012,config复制集端口:27019,

mongos端口使用的是27017

搭建过程省略,贴出简略示意图

image.png

tapdata安装

1、登录页面:https://cloud.tapdata.net/

2、注册登录后,管理agent,标签右侧有个部署,点击进行下一步
image.png
3、部署页面中有Linux安装方法

tapdata在linux的安装方法

安装方法

• 1. 部署前请确认你的本地环境中已安装 java

• 2. 请复制下方命令并在本地部署环境执行,其包含 Tapdata Agent 的下载、自动部署及启动

• 3. 下载、部署 Tapdata Agent 无需 root 权限

• 4. 我们非常建议在一个独立、干净的文件夹内部署 Tapdata Agent

wget “http://resource.tapdata.net/package/feagent/v1.0.3-cloud/tapdata” && chmod +x tapdata && ./tapdata start backend --downloadUrl http://resource.tapdata.net/package/feagent/v1.0.3-cloud/ --token a/HZzXh5MDbwPGd8hCzZYYF0XXgDZ287oY34Sx3QAq5Z7zikkMRcI62kZHXq8RRJj6VrJcSY6ehw4iM8d8LW1eVxsdTr0OD8MUuFxeIPgTSdKKFDc/otA5YWsBj5I0q2JUz9111sL5gW8EaKeWRGuk7gjwFc4WjU3csOv1lyX2j7q7GRBZ0R+9BcicStdfweBriD8BPyIPvZcIkQZSqWf2NrRQSK4Bg7Th/o1TApEnLS5uOQOpVt7XyKjDs5QmfPAWOTr+pzUkl9kDN8i6feUf33HueRHxXXJKFpXZuMp/PtANgEeE9RlESQBCppYcv9duMKOi1/1vMt1rLryAF1t2/np9W7M1nSqCp5lDFN5lv4YpjBeVGByuYeXe+7QLjvE2DC5yBPJjACa+A5BBX1Fo99cMJNLMm1lg0+QuqsuZU1UP8tiw+iRgdNArRdxrRckMMIoj3gGPPscvjZsC4vbQ==

关闭 Tapdata Agent

./tapdata stop

启动 Tapdata Agent

./tapdata start backend

查看 Tapdata Agent 状态

./tapdata status

注意

Tapdata Agent 运行后会在 Tapdata 官网 Agent 管理页面自动注册,此时你可通过管理页面对其进行管控,也可在本地使用命令行方式对其进行管控,如果你的本地部署环境无法连通公网,那么你可能无法在 Agent 管理页面看到对应 Tapdata Agent
每个免费用户同一时刻只可运行一个Tapdata Agent

云端创建连接数据源

安装完成后,重新tapdata云端页面,创建数据源连接

在连接管理中,创建数据源,mysql正常提供IP,PORT,HOST即可正常连接,对于MongDB,要注意其URL的写法
image.png
我这里测试创建多添加了几个

通过可用数据源创建同步任务
image.png
image.png

开启户同步任务

image.png
备注:开启同步任务与上一步图中创建任务名称不同,还请使用时,开启自己创建的同名任务

点开运行监控选项,可见同步进度,与运行日志相关内容

image.png

下方可见运行日志及任务进度

image.png
同步进度信息
image.png
同步进度中的,传输耗时与同步差距
image.png
可以在Mongod分片集群中看到同步过来的信息

详细的请参考官方网站指导信息

https://cloud.tapdata.net/#/registry

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论