CDH 6.3.2 集成 kylin 的部署与使用

原创 check 2021-07-30

1197

一：关于kylin的介绍

1.1 Apache Kylin™ 概览
Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。

Apache Kylin™ 令使用者仅需三步，即可实现超大数据集上的亚秒级查询。

1 定义数据集上的一个星形或雪花形模型
2 在定义的数据表上构建cube
3 使用标准 SQL 通过 ODBC、JDBC 或 RESTFUL API 进行查询，仅需亚秒级响应时间即可获得查询结果
复制

Kylin 提供与多种数据可视化工具的整合能力，如 Tableau，PowerBI 等，令用户可以使用 BI 工具对 Hadoop 数据进行分析。

参考官网：

http://kylin.apache.org/cn/

图片.png-123.3kB

##二：安装环境介绍与软件包的准备

2.1 安装系统环境
系统：CentOS7.5x64
CDH 版本： cdh 6.3.2
jdk 版本： jdk1.8

cat /etc/hosts

192.168.11.37 test01.lanxintec.cn
192.168.11.38 test02.lanxintec.cn
192.168.11.40 test03.lanxintec.cn

2.2 kylin 版本

2.2.1 kylin v3.1.0
v3.1.0

这是 3.0.0 版本后的一个主要版本，包含10个新功能和142个问题的修复以及各种改进。关于具体内容请查看发布说明.
发布说明, 安装指南 and 升级指南
源码下载: apache-kylin-3.1.0-source-release.zip [asc] [sha256]
Hadoop 2 二进制包:
    for HBase 1.x (includes HDP 2.3+, AWS EMR 5.0+, Azure HDInsight 3.4 - 3.6) - apache-kylin-3.1.0-bin-hbase1x.tar.gz [asc] [sha256]
    for Cloudera CDH 5.7+ - apache-kylin-3.1.0-bin-cdh57.tar.gz [asc] [sha256]
Hadoop 3 二进制包:
    for Hadoop 3.1 + HBase 2.0 (includes Hortonworks HDP 3.0) - apache-kylin-3.1.0-bin-hadoop3.tar.gz [asc] [sha256]
    for Cloudera CDH 6.0/6.1 (check KYLIN-3564 first) - apache-kylin-3.1.0-bin-cdh60.tar.gz [asc] [sha256]
复制

三：配置kylin 与 CDH 6.3.2集成

3.1 下载kylin
wget https://mirrors.tuna.tsinghua.edu.cn/apache/kylin/apache-kylin-3.1.0/apache-kylin-3.1.0-bin-cdh60.tar.gz

mv apache-kylin-3.1.0-bin-cdh60.tar.gz software/

3.2 安装启动kylin
mkdir -p /opt/bigdata/

cd software

tar -zxvf apache-kylin-3.1.0-bin-cdh60.tar.gz

mv apache-kylin-3.1.0-bin-cdh60 /opt/bigdata/

图片.png-48.6kB
cd /opt/bigdata/apache-kylin-3.1.0-bin-cdh60

bin/kylin.sh start

图片.png-32.9kB
报错：
Error: Could not find or load main class org.apache.hadoop.hbase.util.GetJavaProperty

解决：

vim /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hbase/bin/hbase

在169 行: 加上hbase lib

CLASSPATH=" ${HBASE_CONF_DIR}" CLASSPATH=$ {CLASSPATH}:$JAVA_HOME/lib/tools.jar:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hbase/lib/*

图片.png-11.4kB
vim /etc/profile
到最后加上：

set spark home and kylin home and kafka home

export SPARK_HOME=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/spark
export KAFKA_HOME=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/kafka
export FLINK_HOME=/opt/cloudera/parcels/FLINK/lib/flink
export KYLIN_HOME=/opt/bigdata/apache-kylin-3.1.0-bin-cdh60

若没有集成请集成安装 flink 与安装 kafka

cd /opt/bigdata/apache-kylin-3.1.0-cdh60/

bin/check-env.sh

保证所有环境都是pass 状态

图片.png-20.9kB

启动kylin

bin/kylin.sh start

图片.png-46kB

图片.png-29.9kB
查看logs目录
cd /opt/bigdata/apache-kylin-3.1.0-cdh60/logs/
tail -f kylin.log

图片.png-79.2kB
打开web 也没

http://192.168.11.37/kylin/

用户名：ADMIN 密码：KYLIN (用户名密码都是大写)