暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Cloudera Manager 集成 Apache Doris

1574

背景描述    

  Cloudera Manager是用于管理CDH群集的B/S应用程序。使用Cloudera Manager,可以轻松部署HADOOP集群,cm为管理工具,也可以集成其他组件简化部署运维成本;主要优化doirs集群增扩容、配置变更、自动重启等操作,可在cm上轻松完成。

功能介绍

Doirs 主界面

 暂时为cm默认图表,后续计划增加集群指标。

Frontend功能

sys_log_dir:fe日志配置位置,需要和cm中日志路径配置一致既可以在页面查看相关日志

frontend_server_max_heapsize:用设置fe内存大小的参数,将此值代入脚本启动jvm的

frontend_server_first_start_enabled:开启分的HA模式时, 此节点是否第一次启动,开启参数会执行 --helper host:port --daemon

frontend_ha_master_ip:fe启动HA模式时此值为master节点ip,用于fe第一次启动

meta_dir:fe元数据的位置


 fe一些重要端口设置,再此页面修改即可,9010为cm端口,请修改。

 Frontend 高级配置代码段:在此配置添加需要变更的参数会同步至fe,重启此节点机会生效,免去机器修改配置

Bakend功能

 sys_log_dir:和上述fe log配置一致,主要修改log输出配置,fe日志格式问题,暂无法在页面查看相关日志,如遇到启动报错问题,请直接登录机器查看be日志。

storage_root_path:数据存储目录,支持配置多个

SMALL FILE DIR:be的目录,doirs包以parcel的方式存储再每台节点的固定位置,故提出此目录但单独配置,如下user_function_dir,udf_runtime_dir设计初衷一致。

在启动be时需指定描述符的个数 ,否则会启动报错。

be的一些重要端口,再次页面修改即可代入。 

参数变更,再此 高级配置代码段添加变更项即可完成修改。

Broker功能

broker_server_max_heapsize :jvm最大值配置


BROKER LOG DIR:日志存储位置,也需要和cm中日志配置位置相同。


 高级配置代码段(安全阀):参数变更项,此处还新增了hive、hdfs配置,填写相关参数也会代入到broker内,在使用broker拉取数据时不用指定hadoop参数即可。

本次集成主要完成如上功能,后续计划添加一些监控指标。

安装部署 

parcel包安装

 CDH 支持http协议,将parcel包存放在可以http访问的路径即可

 CM安装parcel包

点击cm页面的parcel管理键

选择配置按钮配置新增parcel源,再次选择保存更改

 cm的parcel源会出现新增doris地址,再次选择下载,分发,激活即可,doirs的parcel包安装完成

csd的安装部署

 在cm管理及界面找到csd的存储位置

 将DORIS-1.1.0.jar放在如上4的位置,重启 cm-server服务安装成功

doris服务安装

按照如上步骤安装部署,会在cm添加服务的页面内出现doris组件,按照实际需求安装fe、be、breoker即可,fe实例需要为奇数,否则会有错误提示,be、broker实例最少为1 

fe服务安装

上图序列号选填内容

1:log日志输出位置,按需选择

2:fe启动内存,按需填写

3:第一个fe启动,不勾选此参数

4:填写本机ip地址

5、第一个fe启动,不需要填

6、存储元数据的位置

fe端口设置

需要修改fe端口设置,edit端口9010和cm端口冲突,需修改

按照需求填写如上参数,启动fe即可 。

FE HA安装部署

首先使用 mysql-client 连接到已启动的 FE,并执行:

    ALTER SYSTEM ADD FOLLOWER "follower_host:edit_log_port";
    复制

      ALTER SYSTEM ADD OBSERVER "follower_host:edit_log_port";
      复制

      再次添加fe实例,填写如下信息

      序号1、2、5、6和第一次部署fe设置一致,序号3需要勾选,序号4需要填写第一个启动的fe地址,再次启动fe即可,fe成功启动后,需要将序列号3取消,否则fe下次启动会失败


       BE 安装部署

      首先使用 mysql-client 连接到已启动的 FE,并执行:

        ALTER SYSTEM ADD BACKEND "be_host:be_heartbeat_service_port";
        复制

        按需修改参数即可,后边三个目录为be 依赖目录建议设置

        BE 端口设置

         端口参数设置,建议修改,会有端口冲突问题

        按照如上设置,启动be,如出现be启动失败,请登录服务器查看be日志,一般为端口冲突问题。

        Broker 部署

        首先使用 mysql-client 连接到已启动的 FE,并执行:

          ALTER SYSTEM ADD BROKER broker_name "broker_host:broker_ipc_port";
          复制

          与上述fe、be设置类似,填写如上参数,启动服务即可

          NOTE : CDH5环境在安装parcel 需手动生产.sha的文件,cdh6不需要,生成文件命令:

          下载地址如下:

          链接: https://pan.baidu.com/s/1GFhirGTe7N-lhpSkiq7bDw  提取码: 0902 

          原文链接:https://blog.csdn.net/wm_1002/article/details/126648723


          文章转载自锋哥聊DORIS数仓,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

          评论