基于ZK的kafka环境搭建
撰写时间： 2021-12-16 总共： 1618 字 转载请注明： BY-SA 4.0（除特别声明或转载文章外）
Kafka
环境：Window10、VMware 16
安装镜像：CentOS-7-x86_64-DVD-1810.iso
kafka_2.12-2.7.2.tgz
kafka:http://kafka.apache.org/downloads
清华镜像：https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/
安装
tar -zxvf kafka_2.12-2.7.2.tgz
设置环境变量
vim /etc/profile
# kafka env
export KAFKA_HOME=/home/soft/kafka
export PATH=$PATH:$KAFKA_HOME/bin
source /etc/profile
配置
vim server.properties
#DEV01
# broker就是一个kafka的部署实例，在一个kafka集群中，每一台kafka都要有一个broker.id
# 并且，该id唯一，且必须为整数
broker.id=1
log.dirs=/home/soft/kafka/kafka-logs
zookeeper.connect=DEV01:2181,DEV02:2181,DEV03:2181
mkdir -p /home/soft/kafka/kafka-logs
vim producer.properties
bootstrap.servers=DEV01:9092,DEV02:9092,DEV03:9092
vim consumer.properties
bootstrap.servers=DEV01:9092,DEV02:9092,DEV03:9092
分发到服务器上
#分发到另外的服务器
scp /etc/profile DEV02:/etc/
scp /etc/profile DEV03:/etc/
source /etc/profile
scp -r /home/soft/kafka/ DEV02:/home/soft/
scp -r /home/soft/kafka/ DEV03:/home/soft/
ssh dev02
source /etc/profile
mkdir -p /home/soft/kafka/kafka-logs
cd /home/soft/kafka/config/
vim server.properties
broker.id=2
ssh dev03
source /etc/profile
mkdir -p /home/soft/kafka/kafka-logs
cd /home/soft/kafka/config/
vim server.properties
broker.id=3
启动
# dev01、02、03均启动zk
zkServer.sh start
# dev01、02、03均启动kafka
kafka-server-start.sh -daemon /home/soft/kafka/config/server.properties
#
测试
# 创建一个主题：dev
kafka-topics.sh --create --zookeeper dev01:2181,dev02:2181,dev03:2181 --replication-factor 2 --partitions 2 --topic dev
Created topic dev.、
# 查看
kafka-topics.sh --list --zookeeper dev01:2181
dev
kafka-topics.sh --list --zookeeper dev01:2181,dev02:2181,dev03:2181
dev
#dev01
kafka-console-producer.sh --broker-list dev01:9092 --topic dev
#dev02
kafka-console-consumer.sh --bootstrap-server dev01:9092 --topic dev --from-beginning
