Kafka on Quietbo

[Kafka] 使用docker在本機部署KRaft模式 + kafka-ui (簡易版)

Sun, 06 Jul 2025 21:09:56 +0000

前言

原本官方文件的簡單範例使用預設網路設定，大部分參數都自動配置，較適合單機測試，但無法與 kafka-ui 等其他服務整合。本篇將介紹如何使用 Kafka KRaft 模式 + kafka-ui，並提供完整的配置說明。

相關連結：

什麼是 KRaft 模式？

KRaft (Kafka Raft) 是 Kafka 的新架構模式，主要特色：

不需要 ZooKeeper：簡化部署和維護
內建 Controller：metadata 管理更高效
更好的效能：減少網路延遲和複雜度

快速開始 (推薦使用 docker-compose)
如果你想快速開始，可以直接跳到 docker-compose.yml 章節。

創建自定義網路

docker network create kafka-network

部署 Kafka Broker 為什麼選擇 3.9.1 而不是 latest？版本固定，確保環境一致性，避免 latest 版本可能帶來的不穩定性

docker run -d \
 --name broker \
 --network kafka-network \
 -p 9092:9092 \
 -e KAFKA_NODE_ID=1 \
 -e KAFKA_PROCESS_ROLES=broker,controller \
 -e KAFKA_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093 \
 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://broker:9092 \
 -e KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER \
 -e KAFKA_CONTROLLER_QUORUM_VOTERS=1@broker:9093 \
 -e KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT \
 apache/kafka:3.9.1

環境變數詳解

變數	說明
KAFKA_NODE_ID=1	節點唯一 ID，KRaft 模式必需
KAFKA_PROCESS_ROLES=broker,controller	同時扮演 broker 和 controller 角色
KAFKA_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093	監聽接口：9092（客戶端）、9093（內部管理）
KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://broker:9092	重要：告訴客戶端如何連接
KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER	監聽器名稱
KAFKA_CONTROLLER_QUORUM_VOTERS=1@broker:9093	選舉投票設定
KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT	Broker 間通信協定

重要提醒： KAFKA_ADVERTISED_LISTENERS 必須使用 broker:9092，不能使用 localhost:9092，否則 kafka-ui 無法連接！

kafka-ui

docker run -d \
 --name kafka-ui \
 --network kafka-network \
 -p 8080:8080 \
 -e KAFKA_CLUSTERS_0_NAME=local \
 -e KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=broker:9092 \
 provectuslabs/kafka-ui:latest

環境變數的解說:

變數	說明
KAFKA_CLUSTERS_0_NAME=local	集群顯示名稱
KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=broker:9092	必須與 KAFKA_ADVERTISED_LISTENERS 一致

測試是否正常

檢查服務狀態

bash# 檢查容器運行狀態
docker ps

# 檢查 kafka-ui 日誌
docker logs kafka-ui

# 檢查 broker 日誌
docker logs broker

# 進入 Kafka 容器
docker exec --workdir /opt/kafka/bin/ -it broker sh

# 創建測試 Topic
./kafka-topics.sh --bootstrap-server localhost:9092 --create --topic test-topic

# 列出所有 Topics
./kafka-topics.sh --bootstrap-server localhost:9092 --list

# 查看 Topic 詳細資訊
./kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic test-topic

測試 Producer/Consumer

# 啟動 Producer (會出現 > 提示符)
./kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test-topic
> hello kafka
> this is a test message

# 啟動 Consumer (讀取所有訊息)
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test-topic --from-beginning

透過 kafka-ui 驗證開啟瀏覽器訪問：http://localhost:8080 你應該能看到：

Kafka 集群狀態
Topics 列表
剛才發送的訊息

docker-compose.yml (推薦方式)

請使用docker-compose.yml來儲存下方內容，
並下指令docker-compose up即可正常運行

version: '3.8'
services:
 broker:
 image: apache/kafka:3.9.1
 container_name: broker
 ports:
 - "9092:9092"
 environment:
 KAFKA_NODE_ID: 1
 KAFKA_PROCESS_ROLES: broker,controller
 KAFKA_LISTENERS: PLAINTEXT://:9092,CONTROLLER://:9093
 KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://broker:9092
 KAFKA_CONTROLLER_LISTENER_NAMES: CONTROLLER
 KAFKA_CONTROLLER_QUORUM_VOTERS: 1@broker:9093
 KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
 networks:
 - kafka-network

 kafka-ui:
 image: provectuslabs/kafka-ui:latest
 container_name: kafka-ui
 ports:
 - "8080:8080"
 environment:
 KAFKA_CLUSTERS_0_NAME: local
 KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS: broker:9092
 depends_on:
 - broker
 networks:
 - kafka-network

networks:
 kafka-network:
 driver: bridge

啟動服務

bash# 啟動所有服務
docker-compose up -d

# 查看服務狀態
docker-compose ps

# 查看日誌
docker-compose logs -f

# 停止服務
docker-compose down

查看當前版本

docker exec -it broker /opt/kafka/bin/kafka-topics.sh --version

輸出範例：

4.0.0

[Kafka] Mac上使用Docker部署kafka+zookeeper

Fri, 22 Mar 2024 07:32:14 +0000

拉取 kafka & zookeeper image

docker pull wurstmeister/kafka
docker pull zookeeper

運行zookeeper的container

docker run -d --name zookeeper -p 2181:2181 -t zookeeper

運行kafka(下方會建立3個docker container) 注意：192.168.999.999為自己本機的ip，請自行手動修改 mac查詢方式:

ifconfig | grep "inet"

看到的inet有192.168.XXX.XXX就是了!\[Uploading file…_28ywkkhaq\]() 參數說明:

-d: 表示在背景運行容器
–name: 容器命名
-p: 將容器內部的port分享到本機的prot號，用於kafka的監聽端口
-e KAFKA_BROKER_ID=0: 設置環境變量，將Kafka Broker的ID設為0。
-e KAFKA_ZOOKEEPER_CONNECT=192.168.999.999:2181 將Kafka與Zookeeper連接。Zookeeper預設的prot是2181
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.999.999:9092:
PLAINTEXT:// 使用普通的明文文字傳輸協議。這是設定 Kafka 的廣告偵聽器，也就是 Kafka 伺服器公開給外部用戶端的位址和連接埠。
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092: 設置Kafka監聽的地址和端口。
-t wurstmeister/kafka: 指定使用的image(wurstmeister/kafka 是 Kafka 官方維護的一個鏡像

Kafka0：

docker run -d --name kafka0 -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.999.999:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.999.999:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

Kafka1：

docker run -d --name kafka1 -p 9093:9093 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=192.168.999.999:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.999.999:9093 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9093 -t wurstmeister/kafka

Kafka2：

docker run -d --name kafka2 -p 9094:9094 -e KAFKA_BROKER_ID=2 -e KAFKA_ZOOKEEPER_CONNECT=192.168.999.999:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.999.999:9094 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9094 -t wurstmeister/kafka

成功後4個container都顯示Running 進入kafka0的container

docker exec -it kafka0 /bin/bash

進入bin後創建topic

cd /opt/kafka_2.13-2.8.1/bin
kafka-topics.sh --create --zookeeper 192.168.999.999:2181 --replication-factor 3 --partitions 5 --topic TestTopic

查看指定 topic

kafka-topics.sh --zookeeper 192.168.999.999:2181 --topic TestTopic --describe

節點說明：

Topic: TestTopic TopicId: H-Y_jJv5TFSN-sxQBMnzdg PartitionCount: 5 ReplicationFactor: 3

Topic: 主題名稱
Leader: 主題節點號
Replicas: 副本節點有Broker.id = 2、0、1（包括Leader Replica和Follower Replica，且不管是否存活），
Isr: 表示存活且同步Leader節點的副本有Broker.id = 2、0、1

查看 topic 集合

kafka-topics.sh --zookeeper 192.168.999.999:2181 --list

生產者和消费者測試，開啟三個終端機，分別在Broker0上運行一個生產者，Broker1、2上分別運行一個消費者：

kafka-console-producer.sh --broker-list 192.168.999.999:9092 --topic TestTopic

kafka-console-consumer.sh --bootstrap-server 192.168.999.999:9093 --topic TestTopic --from-beginning

kafka-console-consumer.sh --bootstrap-server 192.168.999.999:9094 --topic TestTopic --from-beginning

左邊輸入的地方會有個> 箭頭符號，代表是生產者，送出後會送到右手邊的消費者[1]: https://hackmd.io/_uploads/SkrsccY0T.png