Kafka 部署简明教程

🌐 Kafka 简介

Apache Kafka 是一个分布式流处理平台，广泛用于构建实时数据管道和流应用。
🔧 环境准备
确保你的系统已安装 Java 环境。
📥 步骤 1: 下载 Kafka
cd /opt/
wget https://archive.apache.org/dist/kafka/2.6.0/kafka_2.13-2.6.0.tgz
🗜️ 步骤 2: 解压 Kafka
tar -zxvf kafka_2.13-2.6.0.tgz
mv kafka_2.13-2.6.0 kafka
📁 步骤 3: 创建 Kafka 日志目录
cd kafka
mkdir kafka-logs
🛠️ 步骤 4: 配置 Kafka
编辑 server.properties 文件，配置 Kafka 服务器。
vim config/server.properties
# 设置以下参数
listeners=PLAINTEXT://localhost:9092
log.dirs=/opt/kafka/kafka-logs
💻 步骤 5: 设置 Java 环境变量
编辑 /etc/profile 文件，添加 Java 环境变量。
vim /etc/profile
# 添加以下内容export JAVA_HOME=/usr/java/jdk1.8.0_131export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
然后，使更改生效。
source /etc/profile
🚀 步骤 6: 启动 Kafka 服务器
cd /opt/kafka/bin
./kafka-server-start.sh -daemon ../config/server.properties
🔍 步骤 7: 验证 Kafka 是否运行使用 Kafka 自带的命令行工具创建一个主题，并发送一些消息。
./kafka-topics.sh --create --topic test --zookeeper localhost:2181 --partitions 1 --replication-factor 1
./kafka-console-producer.sh --topic test --broker-list localhost:9092
输入一些文本，然后按 Ctrl+C 退出。
🔎 步骤 8: 消费消息./kafka-console-consumer.sh --topic test --from-beginning --zookeeper localhost:2181
📚 参考文档更多信息，请参考 Kafka 官方文档 https://kafka.apache.org/documentation/。

来源:https://mp.weixin.qq.com/s/CQnZsaWcJS7xgyAcd_zphQ