目录
产品简介
Enhanced ETL是一个异构数据库/文件系统之间、可实时准实时复制数据的统一管理平台，支持首次同步、批量同步以及实时增量同步等模式；支持各类文件（filesystem）之间的实时高效共享；支持实现数据库到大数据平台之间，如HDFS、Hive、Hbase、Kafka等之间的实时复制。
Enhanced ETL产品能适用更多数据的下发、数据的整合、数据的转换、数据脱敏等场景，并且保持在extract和load阶段的优势。
产品功能
-
Enhanced ETL有强大的支持Oracle、DB2、 SQL Server、MySQL、K-DB、PostgreSQL、Dameng、Informix、 Sybase源端的国产数据库、MPP、内存数据库等各类数据库、文件和大数据功能。
-
选择性复制
支持水平和垂直分割。在水平分割方面可以只复制那些满足预设条件的记录。在垂直分割方面允许设置对指定表的指定列进行复制。
- 实时/准实时复制转换
支持以下源端到目标端异构数据库之间转换规则，并根据需求方自定义格式，对目标端数据库进行直接装载，灵活性极高，简化用户操作。
使用技术规则包括：
- 支持源端和目标端用户名、表名、字段名不同的转换
- 支持对一个表的字段增加、删除、修改源字段类型
- 支持特殊类型数据、字符集转换
- 支持行、列的过滤、转换
- 支持数据分拆
- 空值处理、数据替换
- 规范化数据格式
- 验证数据正确性
- 查获丢失数据Lookup实现子查询建立ETL过程的主外键约束
- 对运营数据进行预处理，保证集成与加载的高效性
- 支持多表关联复制
- 多表关联结果集复制到目标端，如：可以直接在源端把3个表的关联结果集同步到目标端，目标端不用建视图，直接查询的是最终的结果集数据
- 支持复杂的SQL模式，除支持普通SQL外，还支持左连接、右连接、全连接、union all等复杂SQL模式
- 支持多种复制维护模式，支持rowid磁盘存储维护、rowid数据库表存储维护、目标端表字段维护模式
- 保持分析日志模式而非sql查询模式。传统的ETL产品是通过从数据库里复杂sql查询出结果集。Enhanced ETL依然采用日志分析模式，通过分析出具体的DML交易，根据sql结果集的最终结果，来决定目标端的具体操作，保证最终结果的一致性，实时效果更加快速，更加减少对生产数据库的查询压力
- 灵活支持中间库、配合第三方ETL，实现/准实时数据抽取
中间数据库是一种数据处理方法。该库存放实时增量数据、维护与生产系统对应的数据表，对数据进行整合、过滤和判断后提交给订阅方。中间数据库以增量的方式实时抽取到数据库的插入、删除、修改的数据，此机制可以增强数据完整性、降低不一致性以及可能丢失数据的风险。Enhanced ETL支持中间数据库机制：
- 支持ETL的过程是主动“拉取”，而不是从内部“推送”，增强其可控性
- 支持关键数据标准化、模板化以及制订相应的数据接口标准
- 实现源数据库将整合、过滤和查询完成的数据存放到中间库或生成接口文件，以支持第三方ETL从中获取数据，进行更多数据类型的转换。
所属公司
迪思杰（北京）数码技术有限公司
公司简介
迪思杰(北京)数据管理技术有限公司（简称：DSG），于2006年在北京成立。目前在北京、成都、西安设有研发中心，在国内24省设有办事处或技术支持中心。DSG立足中国、是中国一家拥有全面的数据管理自主知识产权的软件产品公司，是中国的数据安全、数据采集共享、数据管理领域领先的公司！
DSG公司是、并继续致力于成为全球领先的数据治理管理软件提供商，致力于为大型信息系统和数据中心提供全球领先的数据备份、数据容灾、数据抽取共享交换、数据治理、数据中台,、智慧应用开发等一体化的数据信息管理平台解决方案。
相关资料
Enhanced ETL 官方链接：http://www.dsgdata.com/page/product.html
