kafka和zookeeper关系_coolboywjun的博客-CSDN博客_kafka zookeeper关系spring
kafka和zookeeper关系
coolboywjun
于 2018-09-07 16:10:48 发布
7628
收藏
11
分类专栏：
kafka
kafka
专栏收录该内容
1 篇文章
0 订阅
订阅专栏
kafka使用ZooKeeper用于管理、协调代理。每个Kafka代理通过Zookeeper协调其他Kafka代理。
当Kafka系统中新增了代理或某个代理失效时，Zookeeper服务将通知生产者和消费者。生产者与消费者据此开始与其他代理协调工作。
Zookeeper在Kakfa中扮演的角色：Kafka将元数据信息保存在Zookeeper中，但是发送给Topic本身的数据是不会发到Zk上的  
·        kafka使用zookeeper来实现动态的集群扩展，不需要更改客户端（producer和consumer）的配置。broker会在zookeeper注册并保持相关的元数据（topic，partition信息等）更新。
·        而客户端会在zookeeper上注册相关的watcher。一旦zookeeper发生变化，客户端能及时感知并作出相应调整。这样就保证了添加或去除broker时，各broker间仍能自动实现负载均衡。这里的客户端指的是Kafka的消息生产端(Producer)和消息消费端(Consumer)
·        Broker端使用zookeeper来注册broker信息,以及监测partitionleader存活性.
·        Consumer端使用zookeeper用来注册consumer信息,其中包括consumer消费的partition列表等,同时也用来发现broker列表,并和partitionleader建立socket连接,并获取消息.
·        Zookeer和Producer没有建立关系，只和Brokers、Consumers建立关系以实现负载均衡，即同一个ConsumerGroup中的Consumers可以实现负载均衡（因为Producer是瞬态的，可以发送后关闭，无需直接等待）
源自：https://blog.csdn.net/tanggao1314/article/details/51932329
coolboywjun
关注
关注
点赞
11
收藏
评论
kafka和zookeeper关系
kafka使用ZooKeeper用于管理、协调代理。每个Kafka代理通过Zookeeper协调其他Kafka代理。当Kafka系统中新增了代理或某个代理失效时，Zookeeper服务将通知生产者和消费者。生产者与消费者据此开始与其他代理协调工作。Zookeeper在Kakfa中扮演的角色：Kafka将元数据信息保存在Zookeeper中，但是发送给Topic本身的数据是不会发到Zk上的...
复制链接
扫一扫
专栏目录
Kafka和Zookeeper集群搭建
05-03
NULL
博文链接：https://xnbhnly.iteye.com/blog/2431757
zookeeper和Kafka的关系
wwwwwww31311的博客
08-21
5798
1.在Kafka的设计中，选择了使用Zookeeper来进行所有Broker的管理，体现在zookeeper上会有一个专门用来进行Broker服务器列表记录的点，节点路径为/brokers/ids
每个Broker服务器在启动时，都会到Zookeeper上进行注册，即创建/brokers/ids/[0-N]的节点，然后写入IP，端口等信息，Broker创建的是临时节点，所有一旦Broker上线或者下线，对应Broker节点也就被删除了，因此我们可以通过zookeeper上Broker节点的变化来动态表征B
参与评论
您还未登录，请先
登录
后发表或查看评论
zookeeper+kafka.zip windows安装kafka和zookeeper
03-05
zookeeper+kafka.zip windows安装kafka和zookeeperzookeeper+kafka.zip windows安装kafka和zookeeper
kafka与zookeeper间的关联
nankiao的博客
11-16
1万+
kafka与zookeeper之间的关系
【Kafka原理你真懂了吗?】四万字Kafka教程
最新发布
Java
10-12
3519
Kafka 是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。Kafka 0.9版本之前，offset存储在zookeeper，0.9版本及之后，默认将offset存储在Kafka的一个内置的topic中。除此之外，Kafka还可以选择自定义存储offset。offset的维护是相当繁琐的，因为需要考虑到消费者的Rebalace。
如何确定kafka与zookeeper版本的对应关系
健身变秃，coding变强
04-10
7816
授人以渔式确定kafka与zookeeper版本的对应关系
kafka与zookeeper版本对应关系表
ppangxiao的博客
02-11
2569
kafka版本
zookeeper版本
springboot版本
kafka_2.12-2.4.0
zookeeper-3.5.6.jar
kafka_2.12-2.3.1
zookeeper-3.4.14.jar
springboot2.2.2
kafka_2.12-2.3.0
zookeeper-3.4.14.jar
springboot2.2.2
kafka_2.12-1.1.1
zookeeper-3.4.10.jar
Zookeeper和Kafka的关系，为啥Kafka依赖Zookeeper
热门推荐
u011311291的博客
12-26
5万+
zookeeper和Kafka的关系
1.在Kafka的设计中，选择了使用Zookeeper来进行所有Broker的管理，体现在zookeeper上会有一个专门用来进行Broker服务器列表记录的点，节点路径为/brokers/ids
每个Broker服务器在启动时，都会到Zookeeper上进行注册，即创建/brokers/ids/[0-N]的节点，然后写入IP，端口等信息，Broker创建的...
zookeeper和kafka的理解
config_differ的博客
03-29
1825
Zookeeper是什么
ZooKeeper 翻译一下就是 “动物园管理员”，他是一些管动物的管理员，关于他的名字来源给你们找来了，可以看看。
关于“ZooKeeper”这个项目的名字，其实也有一段趣闻。在立项初期，考虑到之前内部很多项目都是使用动物的名字来命名的(例如著名的Pig项目),雅虎的工程师希望给这个项目也取一个动物的名字。时任研究院的首席科学家RaghuRamakrishnan开玩笑地说：“在这样下去，我们这儿就变成动物园了!”此话一出，大家纷纷表示就叫动物园管理员吧一一一...
面试向：Kafka和ZooKeeper的关系
Tech in Pieces
12-18
316
我们知道Kafka是用来处理real time streaming data, 是个异步消息系统。
Zookeeper是一个service register service.
ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services.
kafka is a m
Zookeeper与Kafka基础概念和原理
hexiaoli666的博客
08-10
258
1、zookeeper概念介绍
　　在介绍ZooKeeper之前，先来介绍一下分布式协调技术，所谓分布式协调技术主要是用来解决分布式环境当中多个进程之间的同步控制，让他们有序的去访问某种共享资源，防止造成资源竞争（脑裂）的后果。
　　这里首先介绍下什么是分布式系统，所谓分布式系统就是在不同地域分布的多个服务器，共同组成的一个应用系统来为用户提供服务，在分布式系统中最重要的是进程的调度，这里假设有一个分布在三个地域的服务器组成的一个应用系统，在第一台机器上挂载了一个资源，然后这三个地域分布的应用进程都要竞
kafka与zk的关系（一）
crossroads10的博客
06-25
1万+
一个典型的kafka集群中包含若干个Producer，若干个broker（一般broker数量越多，集群吞吐率越高），若干Consumer Group，以及一个zk集群，kafka通过zk管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consumer使用pull模式从broker订阅并消...
kafka和zookeeper对应版本
qq_33528402的博客
01-07
5189
kafka和zookeeper对应版本
kafka
zookeeper
springboot
kafka_2.12-2.4.0
zookeeper-3.5.6
kafka_2.12-2.3.1
zookeeper-3.4.14
springboot2.2.2
kafka_2.12-2.3.0
zookeeper-3.4.14
springboot2.2.2
kafka_2.12-1.1.1
zookeeper-3.4.10
kafka_2.12-1.1.0
zookeep
kafka：与zookeeper的联系是什么？
不花的花和尚的博客
10-05
7361
我们先看一张图，zookeeper的存储结构图：
可以看到在zookeeper中存储的信息有broker，consumer等重要znode信息。
可以感知到，每个kafka节点会在zookeeper中注册该机器的配置信息。
然后注册完的kafka节点的topic信息会存在topics目录下面。
根据zookeeper目录列表可以看到，zookeeper存储了kafka集群的所有信...
Kafka 与 ZoomKeeper 之间的关系
it_lxg123的博客
10-13
325
ZooKeeper是一个分布式协调服务，它的主要作用是为分布式系统提供一致性服务，提供的功能包括：配置维护、命名服务、分布式同步、组服务等。Kafka的运行依赖ZooKeeper。
Kafka是一款性能非常好的并且支持分布式的消息队列中间件。由于它的高吞吐特性，Kafka通常使用在大数据领域，如日志收集平台。其实Kafka是一个流处理平台，这个概念不太好理解，之所以叫做流，是因为它在工作中就像是一个可以支撑高吞吐量的管道，数据像水一样流进去，然后另外一端再去读取这些数据。我们就可以把Kafka看作是一种
9张图，Kafka为什么要放弃Zookeeper
dotNET跨平台
04-22
357
最近，confluent社区发表了一篇文章，主要讲述了Kafka未来的2.8版本将要放弃Zookeeper，这对于Kafka用户来说，是一个重要的改进。之前部署Kafka就必须得部署Zoo...
Hadoop开源+zookeeper+Hbase搭建整理
wap1990621的博客
01-16
453
本文章主要介绍的是搭建hadoop开源集群组件
1、Hadoop生态圈简介
我们通常说到的hadoop包括两部分，一是Hadoop核心技术（或者说狭义上的hadoop），对应为apache开源社区的一个项目，主要包括三部分内容：hdfs，mapreduce，yarn。其中hdfs用来存储海量数据，mapreduce用来对海量数据进行计算，yarn是一个通用的资源调度框架（是在hadoop2.0...
kafka用zookeeper干什么
qq1253507478的博客
07-24
45
kafka用zookeeper干什么
kafka与zookeeper之间的关联
weixin_34197488的博客
08-07
729
kafka与zookeeper：
一个典型的Kafka集群中包含若干Produce，若干broker（一般broker数量越多，集群吞吐率越高），若干Consumer Group，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Grou...
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：大白
设计师：CSDN官方博客
返回首页
coolboywjun
CSDN认证博客专家
CSDN认证企业博客
码龄9年
暂无认证
原创
13万+
周排名
107万+
总排名
30万+
访问
等级
2190
积分
123
粉丝
227
获赞
23
评论
1181
收藏
私信
关注
热门文章
QT多线程编程详解
70630
svn merge操作详解
40433
H264编码封装成MP4格式
24788
nanomsg框架简介
23785
java中substring与substr的用法
13791
分类专栏
多媒体音频
1篇
数据协议
2篇
调试
2篇
流媒体
17篇
webrtc
1篇
随笔
2篇
调试相关
1篇
驱动
4篇
java
8篇
c/c++
4篇
h264
2篇
3G/4G
3篇
linux设备驱动
1篇
RTSP
1篇
嵌入式web服务器
网络
3篇
wifi
1篇
zigbee
框架
1篇
TI8168
1篇
版本控制
1篇
服务器开发
1篇
shell
2篇
libev
1篇
kafka
1篇
golang
1篇
git
1篇
qt
1篇
最新评论
linux下 驱动模块编译步骤
俞佳峰:
这是生怕我们看清
QT多线程编程详解
云鹤听涛:
你是写得最好的
QT多线程编程详解
路漫漫其远，吾求索:
牛的牛的
QT多线程编程详解
happyckx:
多学习学习
QT多线程编程详解
happyckx:
多学习学习
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
QT多线程编程详解
repo 获取各个库的tag代码
repo管理git打Tag之后如何获取新版本代码
2019年3篇
2018年12篇
2017年47篇
2015年6篇
目录
目录
分类专栏
多媒体音频
1篇
数据协议
2篇
调试
2篇
流媒体
17篇
webrtc
1篇
随笔
2篇
调试相关
1篇
驱动
4篇
java
8篇
c/c++
4篇
h264
2篇
3G/4G
3篇
linux设备驱动
1篇
RTSP
1篇
嵌入式web服务器
网络
3篇
wifi
1篇
zigbee
框架
1篇
TI8168
1篇
版本控制
1篇
服务器开发
1篇
shell
2篇
libev
1篇
kafka
1篇
golang
1篇
git
1篇
qt
1篇
目录
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值