【安装】kafka基础（3）：kafka 单机与集群安装

文章目录一. zookeeper安装1. 单节点安装1.1. 安装1.2. 操作zk2. Zk的集群安装二. kafka安装1. 单机安装2. kafka集群安装一. zookeeper安装kafka是依赖zk的所以需要安装zkkafka支持单机和集群模式学习阶段推荐使用单机单机和集群在操作上是没有区别的。1. 单节点安装1.1. 安装1、下载 https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz2、上传解压[roothadoop01 soft]# tar-zxvf apache-zookeeper-3.5.8-bin.tar.gz3、修改配置文件 datadir指向的目录存储的是zk的核心数据所以不能使用tmp目录。[rootbigdata01 soft]# cd apache-zookeeper-3.5.8-bin/conf[rootbigdata01 conf]# mv zoo_sample.cfg zoo.cfg[rootbigdata01 conf]# vi zoo.cfg dataDir/data/soft/apache-zookeeper-3.5.8-bin/data4、启动zk服务[roothadoop01 apache-zookeeper-3.5.8-bin]# bin/zkServer.sh start ZooKeeper JMX enabled bydefaultUsing config:/data/soft/apache-zookeeper-3.5.8-bin/bin/../conf/zoo.cfg Starting zookeeper...STARTED 验证看到QuorumPeerMain说明zk启动成功[roothadoop01 apache-zookeeper-3.5.8-bin]# jps53850QuorumPeerMain53916Jps 如果没有此进程到logs看下zookeeper-*.out这个日志文件 查看当前机器中zk服务的状态[roothadoop01 apache-zookeeper-3.5.8-bin]# bin/zkServer.sh status ZooKeeper JMX enabled bydefaultUsing config:/data/soft/apache-zookeeper-3.5.8-bin/bin/../conf/zoo.cfg Client port found:2181.Client address:localhost.Mode:standalone注意使用zkServer.sh默认会连接本机2181端口的zk服务。默认情况下zk会监听此端口。之后使用的时候需要知道zk监听的是哪个端口。1.2. 操作zk1、使用zk的客户端工具连接zk,进入zk命令行[roothadoop01 apache-zookeeper-3.5.8-bin]# bin/zkCli.sh Connecting to localhost:2181...WatchedEvent state:SyncConnected type:None path:null[zk:localhost:2181(CONNECTED)0]默认会连接本机的zk服务;连接特定的端口 bin/zkCli.sh-server localhost:181272、操作zk的目录结构和linux文件系统的目录结构类似。zk的每一个目录称之为节点ZNodeZNode节点本身是可以存储数据的。常见操作 创建节点查看节点获取节点内容删除节点退出[zk:localhost:2181(CONNECTED)1]create/test hello Created/test[zk:localhost:2181(CONNECTED)2]ls/[test,zookeeper][zk:localhost:2181(CONNECTED)3]get/test hello[zk:localhost:2181(CONNECTED)4]deleteall/test[zk:localhost:2181(CONNECTED)5]ls/[zookeeper][zk:localhost:2181(CONNECTED)6]quit WATCHER::WatchedEvent state:Closed type:None path:null deleteall 是递归删除delete只能删除空节点2. Zk的集群安装Running Replicated ZooKeeper1、集群节点规划使用三个节点搭建zk集群。hadoop01,02,032、下载、上传解压3、修改配置3.1、修改配置文件[rootbigdata01 soft]# cd apache-zookeeper-3.5.8-bin/conf/[rootbigdata01 conf]# mv zoo_sample.cfg zoo.cfg dataDir/data/soft/apache-zookeeper-3.5.8-bin/data server.0hadoop01:2888:3888server.1hadoop02:2888:3888server.2hadoop03:2888:3888两个端口号进行对等体连接 更具体的说使用这两个端口号使得follwers能够在不同的情况下连接leader 第一个端口号当一个新的leader出现时由TCP协议使用此端口号可以连接leader 第二个端口号用来进行leader的选举。 Finally,note the two port numbers after each server name: 2888and3888.Peers use the former port to connect to other peers.Such a connection is necessary so that peers can communicate,forexample,to agree upon the order of updates.More specifically,a ZooKeeper server usesthisport to connect followers to the leader.When anewleader arises,a follower opens a TCP connection to the leaderusingthisport.Because thedefaultleader election also uses TCP,we currently require another portforleader election.This is the second port in the server entry.3.2、创建myid文件myid文件的值zoo.cfg中server后指定的编号 例如0对应hadoop01这台机[rootbigdata01 conf]#cd/data/soft/apache-zookeeper-3.5.8-bin[rootbigdata01 apache-zookeeper-3.5.8-bin]# mkdir data[rootbigdata01 apache-zookeeper-3.5.8-bin]# cd data[rootbigdata01 data]# echo0myid4、拷贝到其他两个节点、修改myid拷贝[roothadoop01 soft]# scp-rq apache-zookeeper-3.5.8-bin hadoop02:/data/soft/[roothadoop01 soft]# scp-rq apache-zookeeper-3.5.8-bin hadoop03:/data/soft/修改myid[rootbigdata02~]# cd/data/soft/apache-zookeeper-3.5.8-bin/data/[rootbigdata02 data]# echo1myid5、启动zk集群分别在三个节点上启动zk进程[rootbigdata01 apache-zookeeper-3.5.8-bin]# bin/zkServer.sh start ZooKeeper JMX enabled bydefaultUsing config:/data/soft/apache-zookeeper-3.5.8-bin/bin/../conf/zoo.cfg Starting zookeeper...STARTED 验证[roothadoop03 apache-zookeeper-3.5.8-bin]# jps17986Jps17946QuorumPeerMain 查看 三个节点中有一个是leader其他两个是follower[roothadoop03 apache-zookeeper-3.5.8-bin]# bin/zkServer.sh status ZooKeeper JMX enabled bydefaultUsing config:/data/soft/apache-zookeeper-3.5.8-bin/bin/../conf/zoo.cfg Client port found:2181.Client address:localhost.Mode:follower二. kafka安装kafka在启动的过程中需要开启zk。kafka启动的时候不需要scala环境只有编译源码的时候需要 运行的时候是在jvm运行的所以需要jdk环境就可。1. 单机安装a. 下载、上传、解压b. 修改配置参数修改默认默认目录即可[rootbigdata01 kafka_2.12-2.4.1]# cd kafka_2.12-2.4.1/config/[rootbigdata01 config]# vi server.properties log.dirs/data/soft/kafka_2.12-2.4.1/kafka-logsc. 启动kafka和关闭[roothadoop01 kafka]# bin/kafka-server-start.sh-daemon config/server.properties[roothadoop01 kafka]# jps57105QuorumPeerMain60132Jps59710Kafka[roothadoop01 kafka]# bin/kafka-server-stop.sh2. kafka集群安装1、节点规划三个节点Hadoop010203。三个节点没有主从之分所有节点都是一样的2、单个节点配置针对集群模式需要修改broker.id集群节点id编号单机模式不用修改。默认是从0开始进行递增。listeners默认监听9092端口log.dirs注意这个目录不是存储日志的是存储Kafka中核心数据的目录这个目录默认是指向的tmp目录所以建议修改一下zookeeper.connect依赖的zk集群的地址可以指定及集群中的一个或多个节点多个节点逗号隔开。针对单机模式如果kafka和zk在一个节点上并且zk监听的端口是默认的2181则不需要修改配置[roothadoop01 soft]# cd kafka_2.12-2.4.1/config/[roothadoop01 config]# vim server.properties broker.id0log.dirs/data/kafka-logs zookeeper.connectbigdata01:2181,bigdata02:2181,bigdata03:2181发送kafka到其他两个节点[roothadoop01 soft]# scp-rp kafka hadoop03:/data/soft/3、其他节点修改broker.id[rootbigdata03~]# cd/data/soft/kafka_2.12-2.4.1/config/[rootbigdata03 config]# vi server.properties broker.id24、启动集群分别在三个节点启动kafka进程[roothadoop02 kafka]# bin/kafka-server-start.sh-daemon config/server.properties jps验证。