Hadoop 集群搭建 (十二):Kafka

Kafka:我不是写小说那个…

Kafka 安装配置

安装 Kafka

  • cd /mnt/hgfs/Hadoop
  • cp kafka_2.11-2.2.0.tgz /usr/local/src/
  • cd /usr/local/src/
  • tar zxvf kafka_2.11-2.2.0.tgz
  • rm -rf kafka_2.11-2.2.0.tgz

Kafka 环境变量:

  • vim ~/.bashrc
# 添加如下信息
# SET KAFKA PATH
export KAFKA_HOME=/usr/local/src/kafka_2.11-2.2.0
export PATH=$PATH:$KAFKA_HOME/bin
  • source ~/.bashrc

修改 Kafka 配置

  • cd kafka_2.11-2.2.0

创建日志文件:

  • mkdir logs

配置文件:

  • cd config
  • vim server.properties
# 添加如下信息
log.dirs=/usr/local/src/kafka_2.11-2.2.0/logs
zookeeper.connect=master:2181,slave1:2181,slave2:2181
仅在 Master
  • broker.id=0
仅在 Slave1
  • broker.id=1
仅在 Slave2
  • broker.id=2

启动 Kafka 集群

普通启动:

  • kafka-server-start.sh -daemon /usr/local/src/kafka_2.11-2.2.0/config/server.properties

关闭集群:

  • kafka-server-stop.sh