StreamSets 安装部署

StreamSets 安装部署

1. StreamSets 简介

   StreamSets由Informatica前首席产品官Girish Pancha和Cloudera前开发团队负责人Arvind Prabhakar于2014年创立。他们成立该公司主要是应对来自动态数据（data in motion）的挑战 - 包括数据源，数据处理和数据本身，这是一个称为“数据漂移“（https://streamsets.com/reports/data-drift/）的问题。StreamSets设想从头开始管理数据流，避免已有产品和工具的缺陷，并启用一种管理动态数据（data in motion）的新方法。

   最新的产品StreamSets Dataflow Performance Manager，也叫DPM，主要用于构建端到端的数据流。DPM是一个运行控制中心，可以让你映射（数据流），内置的测量和监测确保持续的数据传输和控制动态数据（data in motion）的性能。首先，它将你不同的数据流映射到支持你的每个关键业务流程的拓扑中。然后监测这些拓扑的日常运行情况，根据掌握的性能情况，以满足应用的SLA为目标，确保你始终提供及时和可信的数据。

2. 下载StreamSets安装包
   下载地址：https://archives.streamsets.com/index.html

3. 配置本地Parcel包

   yum -y install httpd
   
   systemctl start httpd
   
   chkconfig httpd on 
   
   mkdir -p var/www/html/streamsets
   
   mv manifest.json var/www/html/streamset/
   
   mv STREAMSETS_DATACOLLECTOR-3.3.0-el7.parcel var/www/html/streamset/
   
   

   

4. 配置CSD

   将STREAMSETS-3.0.0.0.jar拷贝到/opt/cloudera/csd,并更改权限，然后重启cloudera-scm-server服务

   [root@hadoop01 ~]# cp STREAMSETS-3.0.0.0.jar opt/cloudera/csd
   [root@hadoop01 csd]# sudo chown cloudera-scm:cloudera-scm STREAMSETS-3.0.0.0.jar && sudo chmod 644 STREAMSETS-3.0.0.0.jar
   [root@hadoop01 ~]# opt/cm-5.11.0/etc/init.d/cloudera-scm-server restart
   
   

   

5. 下载分发激活StreamSets 包

   在CM界面中点击Parcel > 配置 > 添加StreamSets的Parcel包路径，并保持修改

   
   

   

1. 添加StreamSets服务