高可用，高并发需求一直以来都是备受关注的话题，下面以etl-engine为例说明ETL工具如何实现高可用。

使用场景

为解决高可用场景，etl-crontab提供向consul进行服务注册，第三方系统可通过从consul进行服务发现来获取etl-crontab所提供的服务地址。

前置条件

• 因etl-engine与etl-crontab所涉及的配置文件均以XML文件形式进行存储，所以需要将上述两种配置文件存储在数据中心的共享目录下，并将该目录读写权限赋予给etl-engine和etl-crontab使用。
• etl-engine和etl-crontab均可进行多实例运行，etl-crontab启动后自动向consul进行服务注册以供第三方系统使用。

文件服务器

• Windows为目录服务器，共享文件目录给Linux

Windows配置目录共享，Linux配置CIFS服务

Linux文件路径样本

/sharedir/sample.grf

• Windows为目录服务器，共享文件目录给Windows

Windows配置目录共享

Windows文件路径样本

//192.168.31.19/sharedir/sample.grf

• Linux为目录服务器，共享文件目录给Window

Linux配置samba服务实现目录共享

Windows文件路径样本

//192.168.31.19/sharedir/sample.grf

• Linux为目录服务器，共享文件目录给Linux

Linux配置NFS服务实现目录共享

Linux文件路径样本

/sharedir/sample.grf

** 以上方案根据实际使用场景进行配置。**

consul服务

https://developer.hashicorp.com/consul/downloads

部署架构

参考资料

  [免费下载](https://github.com/hw2499/etl-engine/releases)
  [etl-engine使用手册](https://github.com/hw2499/etl-engine)
  [etl-crontab使用手册](https://github.com/hw2499/etl-engine/wiki/etl-crontab%E8%B0%83%E5%BA%A6)
  [嵌入脚本开发](https://github.com/hw2499/etl-engine/wiki/%E5%B5%8C%E5%85%A5%E8%84%9A%E6%9C%AC%E5%BC%80%E5%8F%91)