56、大数据Hadoop之——EFAK和Confluent KSQL简单使用.docx

手机用户8105

160

25页

0次

2023-05-30

5墨值下载

大数据

Hadoop

之——

EFAK

和

Conuent KSQL

简单

使用

一、

EFAK

概述和安装

关于

EFAK

的概述和安装，可以参考我这篇文章：大数据

Hadoop

之——

Kafka

图形化

工具

EFAK

（

EFAK

环境部署）

在讲

EFAK

使用之前，这里先讲一下

listeners

和

advertised.listeners

的用法，

其实企业里还是会配置着两个参数的。

二、

listeners

和

advertised.listeners

配置详解

kafka 0.9.x

以后的版本新增了

advertised.listeners

配置，

kafka 0.9.x

以后的版

本不要使用

advertised.host.name

和

advertised.host.port

已经

deprecated

host.name

和

port

为

deprecated

，使用

listeners

代替。

 listeners

：就是主要用来定义

Kafka Broker

的

Listener

的配置项，

listeners

是

kafka

真正

bind

的地址。

 advertised.listeners

：参数的作用就是将

Broker

的

Listener

信息发

布到

Zookeeper

中，是暴露给外部的

listeners

，如果没有设置，会用

listeners

。

 listener.security.protocol.map

：配置监听者的安全协议的，主要有

以下几种协议：

1. PLAINTEXT => PLAINTEXT

不需要授权

非加密通道

1. SSL => SSL

使用

SSL

加密通道

1. SASL_PLAINTEXT => SASL_PLAINTEXT

使用

SASL

认证非加

密通道

1. SASL_SSL => SASL_SSL

使用

SASL

认证并且

SSL

加密通道

 inter.broker.listener.name

：专门用于

Kafka

集群中

Broker

之间的

通信。

listener.security.protocol.map=EXTERNAL:PLAINTEXT,INTERNAL:PLAINTEX

# 外网访问 192.168.0.113:19092，内网访问：192.168.0.113:19093，当 kafka

部署在 k8s 时候就很有用

listeners=EXTERNAL://192.168.0.113:19092,INTERNAL://192.168.0.113:1

9093

inter.broker.listener.name=INTERNAL

# 如果 advertised.listeners 没配置就使用 listeners 的配置

#advertised.listeners=EXTERNAL://192.168.0.113:19092,INTERNAL://192

.168.0.113:19093

使用场景



只有内网：比如在公司搭建的

kafka

集群，只有内网中的服务可以用，这

种情况下，只需要用

listeners

就行。示例如下：

# listeners=<协议名称>://<内网 ip>:<端口>

listeners=EXTERNAL://192.168.0.113:19092



内外网：在

k8s

中或者在类似阿里云主机上部署

kafka

集群，这种情况

下是需要用到

advertised_listeners

。示例如下：

listeners=INSIDE://0.0.0.0:9092,OUTSIDE://<公网 ip>:端口(或者

0.0.0.0:端口)

advertised.listeners=INSIDE://localhost:9092,OUTSIDE://< 宿主机

ip>:<宿主机暴露的端口>

listener.security.protocol.map=INSIDE:SASL_PLAINTEXT,OUTSIDE:SASL_P

LAINTEXT

kafka_inter_broker_listener_name:inter.broker.listener.name=INSIDE

三、

KSQL

使用

KSQL

是一个用于

Apache kafka

的流式

SQL

引擎，

KSQL

在内部使用

Kafka

的

Streams API

，

KSQL

降低了进入流处理的门槛，提供了一个简单的、完全交互式的

SQL

接口，用于处理

Kafka

的数据，可以让我们在流数据上持续执行

SQL

查询，

KSQL

支持广泛的强大的流处理操作，包括聚合、连接、窗口、会话等等。官方文档：

https://www.rittmanmead.com/blog/2017/10/ksql-streaming-sql-for-

apache-kafka/

）

KSQL

架构

of 25

5墨值下载

hadoop

相关文档

评论