尚硅谷大数据技术之DataX.pdf
5墨值下载
尚硅谷大数据技术之 DataX
更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网
尚硅谷大数据技术之 DataX
(作者：尚硅谷大数据研究院)
版本：V1.0
第1章 概述
1.1 什么是 DataX
DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据
库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高
效的数据同步功能。
1.2 DataX 的设计
为了解决异构数据源同步问题，DataX 将复杂的网状的同步链路变成了星型数据链路，
DataX 作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要
将此数据源对接到 DataX，便能跟已有的数据源做到无缝数据同步。
1.3 支持的数据源
DataX 目前已经有了比较全面的插件体系，主流的 RDBMS 数据库、NOSQL、大数据
尚硅谷大数据技术之 DataX
更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网
计算系统都已经接入。
1.4 框架设计
DataX框架
Reader：数据采集模块，负责采集数据源的数据，将数据发送给Framework。
Writer：数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。
Framework：用于连接reader和writer，作为两者的数据传输通道，并处理缓冲，
流控，并发，数据转换等核心技术问题。
of 86
5墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
文档被以下合辑收录
评论