一文带你了解kafka

kafka是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），本文作为我学习kafka的一个整理记录，希望能帮想要学习kafka的同学了解kafka

首先，来对Kafka的一些基本概念做下简单的了解：

broker：kafka集群中一个服务器节点就是一个broker，且会有一个broker为controler角色

topic：Kafka集群的消息都有一个类别，这个类别被称为Topic。类似数据库的表名

partition：Kafka会将接收到的消息分区（partition），每个主题（topic）的消息有不同的分区。这样一方面消息的存储就不会受到单一服务器存储空间大小的限制，另一方面消息的处理也可以在多个服务器上并行。

replica：为了保证高可用，每个分区（partition），都会有一定数量的副本（replica）。这样如果有部分服务器不可用，副本所在的服务器就会接替上来，保证应用的持续性。

producer：生产者，数据的发布者，将消息发送到指定的topic，

发送的消息，存储到一个partition中，也可指定数据存储的partition

consumer：消费者，可以从broker中读取数据，可以消费多个topic的数据

consumer group:每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）。

下面是我自己学习整理的PPT截图