Kafka安装

如需大数据开发整套视频（hadoop\hive\hbase\flume\sqoop\kafka\zookeeper\presto\spark）：请联系QQ：1974983704

单机版：

• 下载Kafka安装文件  kafka_2.10-0.10.0.1.tgz

　　Kafka版本：kafka_2.10-0.10.0.1

　　地址：Kafka官网（https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.0.1/kafka_2.10-0.10.0.1.tgz）

• 解压kafka_2.10-0.10.0.1.tgz

tar –zxvf kafka_2.10-0.10.0.1.tgz

• 启动Kafka自带的zookeeper

bin/zookeeper-server-start.sh  config/zookeeper.properties &

　　使用命令查看zookeeper是否启动成功： jps | grep Quorum

　　可以查看到类似以下输出（进程id和zookeeper的服务名称QuorumPeerMain）

46309 QuorumPeerMain

• 启动Kafka Broker

bin/kafka-server-start.sh -daemon config/server.properties 

　　使用命令查看kafka Broker是否启动更成功：jps | grep Kafka

       可以查看到类似以下输出（进程id和Kafka的服务名称Kafka, “K”字母大写）

34884 Kafka

　　验证：

• 创建topic，名字为test，包含5个分区，副本数为1，数据保留时长为2天（默认是1天）

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 
--partitions 5 --topic test --config delete.retention.ms=172800000

• 生产数据

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 

• 另启动一个终端消费数据

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

分布式版：

• 两台虚拟机(master, slave)
• 下载Kafka安装文件  kafka_2.10-0.10.0.1.tgz到master和slave两个节点
• 配置(config/server.properties)

　　　 master节点上

broker.id=0
zookeeper.connect=master:2181

　　    slave节点上

broker.id=1
zookeeper.connect=master:2181 

• 启动Kafka，在master和slave上分别执行

bin/kafka-server-start.sh -daemon config/server.properties

　　验证（将单机版验证命令中的“localhost”，改成“master”即可）

原文：https://www.cnblogs.com/20kuaiqian/p/11719904.html