36. 一键搭建flink集群

大数据技能圈 2023-02-17

一、准备工作

1.在安装hbase之前要先安装hadoop

① 一键安装hadoop集群

1.软件版本

Flink版本: 1.16.1

二、编写脚本

1. 创建8_flink.sh脚本，用来在三台服务器上安装flink

#!/bin/bash


export FLINK_VERSION=flink-1.16.1-bin-scala_2.12.tgz
export FLINK_HOME=/opt/software/flink-1.16.1




echo "解压Flink安装包"
# 解压flink到/opt/software下面
tar -zxvf opt/download/$FLINK_VERSION -C opt/software/


echo "配置Flink"
# 配置Flink
sed -i 's/jobmanager.rpc.address: localhost/jobmanager.rpc.address: hadoop001/' $FLINK_HOME/conf/flink-conf.yaml
sed -i 's/rest.address: localhost/rest.address: hadoop001/' $FLINK_HOME/conf/flink-conf.yaml
echo  "rest.port: 8081" >> $FLINK_HOME/conf/flink-conf.yaml


sed -i 's/localhost:8081/hadoop001:8081/' $FLINK_HOME/conf/masters
sed -i 's/localhost//' $FLINK_HOME/conf/workers
echo "hadoop002" >> $FLINK_HOME/conf/workers
echo "hadoop003" >> $FLINK_HOME/conf/workers


for ip in hadoop002 hadoop003
do
    echo "发送安装包到 $ip "
    scp -rp $FLINK_HOME $ip:/opt/software
done


# 启动flink
# standalone模式启动
# $FLINK_HOME/bin/start-cluster.sh
# 基于yarn启动
export HADOOP_CLASSPATH=`hadoop classpath`
$FLINK_HOME/bin/yarn-session.sh -n 4 -tm 1024 -s 2

三、运行脚本

# 脚本授权，当前用户为root
chmod 777 8_flink.sh
# 运行脚本
./8_flink.sh

四、效果查看

在运行完脚本后会提示如下信息：
JobManager Web Interface: http://hadoop003:8081

可打开对应的链接查看web页面

更多大数据实战内容，请关注字节智传大数据：

文章转载自大数据技能圈，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

36. 一键搭建flink集群

评论