暂无图片
暂无图片
12
暂无图片
暂无图片
1
暂无图片

datax在web端的使用步骤

IT那活儿 2021-09-28
12199
DataX 是阿里开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
这个工具本身作为数据同步框架,将不同数据源的同步抽象为从源头数据源读取数据的Reader插件,以及向目标端写入数据的Writer插件,理论上DataX框架可以支持任意数据源类型的数据同步工作。这次给大家介绍的是DataX在web端的使用步骤:
1. 首先打开Datax的网址,选择项目管理,点击添加
2. 创建项目名称和添加项目描述之后,点击确认
3. 点击任务管理,选择Datax任务模板,点击添加
4. 在弹出的对话框中设定任务,执行器、路由策略和阻塞处理都使用默认选项,不用做变更。所属项目在下拉框中选择刚刚创建的项目名称,任务描述可自行补充,Cron选项可以根据需要设定定时周期运行的任务,设定完之后点击确认。
5. 任务模板添加完成之后选择数据源管理,点击添加。由于这次的单表导入是从oracle端导入到PG端,所以源端数据源选择oracle,数据库名称可自行填写,不用按照oracle端本来的数据库名称填写,再补充对应的用户名密码,以及ip、端口和server name,注意符号别写错,测试连接成功之后就可以点击确认了。
6. 继续添加目标端数据源,方法跟第五步类似,只是在数据源的选择上需要选择postgresql
7. 在任务管理中选择任务构建,在数据库源这一项,选择刚刚添加的源端数据源上填写的数据库名称,接下来填入需要导入的表的所属schema名称和表名,如果只想导表的某几个字段的数据,可以再SQL语句这一栏中填写对应的查询语句,这里我们导入全表,并选择表所有字段,点击下一步。
8. 继续在任务构建中补充目标端详细信息,数据库源这一项选择在第五步中目标端数据源上填写的数据库名称,其他步骤与第七步类似,配置完成之后,点击下一步。
9. 确认源端和目标端字段一致,点击下一步。
10. 可以看到,web端现在已经自动了生成配置脚本
11. 在任务管理中可以看到我们刚刚构建的任务,点击操作,选择执行一次。
12. 之后可以再次点击操作,选择查询日志,根据日志提示可以看到此次导入已经成功完成。
END

更多精彩干货分享

点击下方名片关注

IT那活儿

文章转载自IT那活儿,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论

筱悦星辰
暂无图片
1年前
评论
暂无图片 0
一个人面对世界的态度,会影响他的生活状态。经常指责或者抱怨的人,很难感受到生活的美好;心怀希望、热爱生活的人,总能把日子过得有滋有味。
1年前
暂无图片 点赞
评论