首页/新闻资讯/正文详情

Kafka网络层第一道门:Acceptor线程是怎么启动的

发布时间:2026/11/19 6:10:32 来源:云帆数科 栏目:资讯中心
Kafka网络层第一道门:Acceptor线程是怎么启动的
摘要前 23 篇一直在讲 Producer 端。从这篇开始翻到 Broker 端——Kafka 是怎么监听 9092 端口、接受 Producer 连接、把连接分发给 IO 线程的这是整个 Broker 网络层的起点。关键词Kafka Broker、Acceptor、SocketServer、Processor、NIO、网络线程模型前情从 Producer 翻到 Broker前面讲了 23 篇 Producer 端——从 send() 初始化到内存回收、异常处理、超时机制。但有个问题一直没回答Producer 发出去的 TCP 连接Broker 这边是怎么接的Kafka Broker 的网络层不是简单的 ServerSocket 监听。它用了经典的 Reactor 模式——一个 Acceptor 接连接多个 Processor 处理 IO。这篇从源码看这个模型是怎么启动的。01 从 Kafka.main() 到 SocketServerBroker 启动的入口是 Kafka.main()最终走到 KafkaServer.startup()。网络层的初始化在 SocketServer 里// KafkaServer.startup() 中this.socketServernewSocketServer(config,metrics,time);this.socketServer.startup();SocketServer.startup() 做了三件事// SocketServer.startup()publicvoidstartup(){// 1. 创建 RequestChannel请求队列供业务线程消费this.requestChannelnewRequestChannel(...);// 2. 创建 Acceptor 线程每个监听器一个for(Listenerlistener:listeners){AcceptoracceptornewAcceptor(...);acceptorThreadnewThread(acceptor,kafka-network-thread-acceptor);acceptorThread.start();}// 3. 创建 N 个 Processor 线程for(inti0;inumNetworkThreads;i){ProcessorprocessornewProcessor(i,...);ThreadthreadnewThread(processor,network-processor-i);thread.start();}}关键Acceptor 是每个监听器一个listener 决定监听哪个端口/协议Processor 是全局共享的 N 个。默认 num.network.threads3。02 为什么是 1 N 模型为什么 Acceptor 只有一个Processor 有 N 个因为 accept() 操作本身很快——内核完成三次握手后把连接放到 accept 队列accept() 就是从队列取一个。真正耗时的是读请求、写响应。如果用单线程accept 慢的时候 IO 也跟着慢IO 慢的时候 accept 也堵。如果每个连接一个线程连接数上去了线程爆炸。Kafka 的解法Acceptor 只负责 accept不做任何 IOProcessor 用 NIO Selector 处理大量连接的读写。这就是经典的单 Reactor 多线程模型。Acceptor 接受连接后不是自己处理而是轮询分发给 Processor// Acceptor.run() 中分发逻辑privatevolatileintnextProcessorIndex0;privateProcessornextProcessor(){// round-robin 轮询intidxnextProcessorIndex;nextProcessorIndex(nextProcessorIndex1)processors.size();returnprocessors.get(idx);}每个 Processor 有自己的 Selector 和一个 newConnections 队列。Acceptor 把新连接塞进队列Processor 自己在 run() 循环里取出来、注册 OP_READ。03 Acceptor.run() 核心循环Acceptor 的核心就是一个 while 循环// Acceptor.run()publicvoidrun(){// 绑定端口serverSocketChannelServerSocketChannel.open();serverSocketChannel.bind(newInetSocketAddress(port));serverSocketChannel.register(selector,SelectionKey.OP_ACCEPT);while(isRunning){// 1. 等待 accept 事件500ms 超时selector.select(500);SetSelectionKeykeysselector.selectedKeys();for(SelectionKeykey:keys){if(key.isAcceptable()){// 2. 接受新连接SocketChannelsocketChannelserverSocketChannel.accept();// 3. 限流检查if(connectionLimitReached(socketChannel)){socketChannel.close();continue;}// 4. 轮询选 Processor加入其队列ProcessorprocessornextProcessor();processor.accept(newConnection(...));}}keys.clear();}}几个细节值得注意select(500ms) 不是 select()。为什么带超时因为需要定期检查 isRunning 标志——如果 Broker 要关闭不能无限阻塞在 select 上。500ms 超时后醒一次看看是不是该退出了。accept() 是非阻塞的。ServerSocketChannel 配置了 non-blockingaccept() 立即返回。如果 accept 队列里没有连接返回 null。限流检查在分发之前。max.connections 和 max.connections.per.ip 控制全局和单 IP 连接数。超限的连接直接 close——不进 Processor 队列。04 一个容易忽略的设计newConnections 队列Acceptor 调 processor.accept()不是直接把 SocketChannel 注册到 Processor 的 Selector 上而是先塞进一个队列// Processor.accept()publicvoidaccept(Connectionconnection){newConnections.add(connection);wakeup();// 唤醒 Processor 的 selector}为什么要队列因为 Acceptor 和 Processor 是不同线程。Acceptor 不能直接操作 Processor 的 SelectorSelectable 不是线程安全的。Processor 自己在 run() 循环里// Processor.run() 开头publicvoidrun(){// 把 newConnections 队列里的连接全部注册到 selectorconfigureNewConnections();// 然后才开始 selectselector.poll(pollTimeoutMs);}这个设计和 Producer 端的 RecordAccumulator 思路一致——跨线程通信通过队列不直接共享状态。写在最后Acceptor 线程虽然代码不长但它决定了整个 Broker 网络层的骨架一个线程接连接N 个线程处理 IO连接通过队列分发Selector 各自独立。

相关推荐

沐曦股份率先 Day 0 适配 Qwen-Image-2.1 图像生成模型
沐曦股份率先 Day 0 适配 Qwen-Image-2.1 图像生成模型

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/18 5:16:35

转行AI应用开发前,先搞懂RAG与Agent这些核心概念
转行AI应用开发前,先搞懂RAG与Agent这些核心概念

1. 为什么我劝你先别急着做项目1.1 一个让我踩了三个月坑的真实经历去年这个时候,我跟大多数转行做 AI 应用开发的人一样,热血上头。刷了几篇讲 RAG 和 Agent 的文章,看了两个 LangChain 的入门视频,脑子里立刻冒出一堆“我要做个… · 2026/11/9 2:49:44

【FDE系列】阶段2:Day 49:OpenAPI 文档与接口测试
【FDE系列】阶段2:Day 49:OpenAPI 文档与接口测试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/9 13:26:20

电工证没技术怎么办?保姆级教程帮你从零起步
电工证没技术怎么办?保姆级教程帮你从零起步

电工证没技术怎么办?保姆级教程帮你从零起步 你是不是也这样? 学历不高怕报不上名 ,手上又没有技术,想考电工证又不知道从哪里开始?别急,这篇文章就是为你准备的。 电工证没技术怎么办?保姆级教程… · 2026/11/19 6:10:24

电工证挂失原证还能用证丢了怎么补办
电工证挂失原证还能用证丢了怎么补办

工地太忙根本没时间复习考试?2026河南最新政策说清楚了 工地太忙根本没时间复习考试,这几乎是每个劳务班组负责人的真实写照。尤其是像洛阳涧西区这种建筑项目集中的区域,工期紧、任务重,连抽空看个电工证挂失原证还能用的流程都成了奢望。2026河… · 2026/11/19 6:10:24

电工证最快几天下证 怎么报名不耽误工地进度
电工证最快几天下证 怎么报名不耽误工地进度

电工证最快几天下证 怎么报名不耽误工地进度 工地太忙根本没时间复习考试,这几乎是每个电工从业者的共同心声。特别是在商丘这样的工程集中地,时间就是效率,项目进度一刻都不能耽误。但偏偏,特种作业操作证的考试与办理流程又牵涉到方方面面,稍有不慎就… · 2026/11/19 6:10:24

电工证没技术怎么办 在哪考能顺利拿证
电工证没技术怎么办 在哪考能顺利拿证

电工证没技术怎么办 在哪考能顺利拿证 之前考的证在外省能不能转过来?这几乎是很多持证人最关心的问题。特别是那些在外地工作、后来返乡或换城市发展的电工人员,面对证书的异地使用问题,往往束手无策。很多人担心, 电工证没技术怎么办… · 2026/11/19 6:10:24

东莞培训高压电工证怎么选?实操考试心里没底怕挂科?考前押题帮你稳过
东莞培训高压电工证怎么选?实操考试心里没底怕挂科?考前押题帮你稳过

东莞培训高压电工证怎么选?实操考试心里没底怕挂科?考前押题帮你稳过 实操考试心里没底怕挂科?这是很多准备报考【东莞培训高压电工证】的学员最真实的焦虑。高压电工证作为特种作业操作证中非常重要的一环,不仅关系到个人职业发展的起点,也直接关系到作… · 2026/11/19 6:10:24

锦州电工证考试在哪里通过率揭秘
锦州电工证考试在哪里通过率揭秘

锦州电工证考试在哪里通过率揭秘 怕考不过白交培训费?别慌,锦州电工证考试在哪里、通过率揭秘,这几点搞懂了,保你一次过! 在锦州,电工证考试是从事电气相关工作的“硬门槛”,不少朋友担心考试难、通过率低,怕钱花了却拿不到证,耽误工作。其实,只要… · 2026/11/19 6:09:24

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/18 8:19:55

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/18 8:19:53

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/18 14:38:14

姑苏区哪里考电工证好考前押题怎么找
姑苏区哪里考电工证好考前押题怎么找

姑苏区哪里考电工证好考前押题怎么找 工地太忙根本没时间复习考试,电工证考前还总找不到靠谱的 考前押题 资源,真让人头疼。如果你也是在苏州姑苏区从事建筑或电力行业的,那这些建议你一定要看完。 为什么姑苏区考电工证的人这么多?… · 2026/11/19 0:00:12

罗定能考电工证吗?外省证转过来流程全解析+郑州报考避坑指南
罗定能考电工证吗?外省证转过来流程全解析+郑州报考避坑指南

罗定能考电工证吗?外省证转过来流程全解析+郑州报考避坑指南 之前考的证在外省能不能转过来?这几乎是每个特种作业证书持有者都会遇到的问题,特别是像你这样已经在外地工作多年,想回老家罗定发展或者重新规划职业路径的人。别急,今天就给你一条清晰的路… · 2026/11/19 0:00:12

罗定能考电工证吗 电工证含金量到底有多少?
罗定能考电工证吗 电工证含金量到底有多少?

罗定能考电工证吗 电工证含金量到底有多少? 之前考的证在外省能不能转过来,这几乎是每个准备考电工证的朋友最先想到的问题。特别是在罗定这样的地方,很多人的电工证都是在外地考的,现在想在当地继续使用,但不知道怎么办。实际上,电工证的 含金量… · 2026/11/19 0:00:12

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/19 0:22:38

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码