ODI助力数据上云

Oracle Data Integrator 是一个综合的数据集成平台，可满足所有数据集成需求：从大容量、高性能的批处理负载到事件驱动、持续少量的集成流程再到支持 SOA 的数据服务。新版的 Oracle 战略性数据集成产品 Oracle Data Integrator (ODI) 12c 通过重新设计基于流的声明式用户界面，为开发人员提供卓越的工作效率，并改善了用户体验。ODI12c最新版本和Oracle Cloud进行深度整合可以方便快捷的把本地的数据集成到Oracle Object Storage和Oracle Autonomous DataWarehouse等的各种云服务中。

该文主要描述Oracle Data Integrator如何与Oracle Object Storage和Oracle Autonomous DataWarehous（简称ADW）e进行集成，把本地的数据上传到ADW中。软件的版本信息如下：

1. 创建并配置data server

由于涉及到三个数据源，所以分别建本地Oracel Database,Oracle Object Storage和OracleAutonomous Data Warehouse的Data Server

a. 创建 Oracle Object Storage的Data Server

安全设置：使用如下命令生成私钥和公钥文件，在cloud页面的身份>用户用户详细信息>API 密钥处上传公钥信息获取指纹信息

openssl genrsa -out ~/.oci/oci_api_key.pem -aes128 2048

openssl rsa -in ~/.oci/oci_api_key.pem -pubout -out oci_api_key_pub.pem

swift连接设置：在cloud的页面的 身份>用户用户详细信息>验证令牌 处生成令牌

b. 创建ADW的Data Server

JDBC不需要配置会自动生成

还需要在$JAVA_HOME\jre\lib\security\java.security中添加

security.provider.11=oracle.security.pki.OraclePKIProvider

c. 创建本地Oracle Database的data server

2. 创建并配置各个data server的物理shema和逻辑shema

对象存储的shema就是他的bucket

3. 创建并配置Model和Datastore

这里配置需要操作的数据集，本地数据库和adw都可以通过逆向工程得到shema里面的datastore.对象存储目前不支持需要手动创建，下面是创建流程

4.  创建mapping

   该mapping把 本地的数据存储到对象存储中，再通过对象存储把数据导入到adw中，这样可以加快数据同步的效率.

   把对象存储的数据导入到ADW中需要创建credential, ODI提供了自动创建机制，看如下配置

结语

通过如上简单的流程就可以快速的把本地的大量数据批量的上传到ADW中，对本地数据源不支持goldengate, 或者每天同步数据量比较大的场景特别合适。