首页/新闻资讯/正文详情

Kafka架构 数据发送保障

发布时间:2026/9/22 18:45:27 来源:云帆数科 栏目:资讯中心
Kafka架构 数据发送保障
producer是如何确定分区已经成功的将这条消息保存起来了其实就是produce发送消息leader收到这条消息并且成功的保存下来了那么会给producer回复叫做ACKproducer在收到了这样回复之后就认为分区把消息成功保存下来了。如果producer没有收到这样的消息那么producer会重复的发送这条消息再次发送直到收到为止。这就是kafka中发送数据的保障。leader在将消息存储到本地之后follower需要向leader做消息的同步副本的同步方式有下面两种策略。kafka采用的是第二种策略当所有的follower同步完成之后才会发送ACK给producer。第一个策略当中副本的数量是有要求的。第二个策略当中但凡有一个follower没有同步完成这个时候leader就得一直等下去直到同步完成才会给producer发ack。这样是不行的不能让leader死等下去。leader维护了一个动态的列表副本同步队列也就是有哪些follower可以和leader建立联系。这样follower就会存在ISR队列里面在一个主题描述信息查看的时候可以看到leader和follower的结合也就是哪些follower可以和leader建立联系这样的follower就会存在于ISR队列当中。当ISR中的follower完成数据的同步之后leader就就会给producer发送ack应答。如果follower长时间没有和leader进行同步那么也不会死等下去了会将follower踢出isr的队列当剩下的follower将数据同步完成leader就可以向producer发送ack了。同样当leader发生故障之后就会从ISR列表中当中选举一个新的leader出来。这就是Kafka当中消息保障的机制。kafka为了保证数据可以成功的写入分区当中会有一个ack的应答机制。1 不需要等待副本的同步leader只要将消息写下来了就会返回ackproducer就可以发送下一条消息了。

相关推荐

lark-cli 邮件模板创建:`mail +template-create` 完整实战指南
lark-cli 邮件模板创建:`mail +template-create` 完整实战指南

lark-cli 邮件模板创建:mail template-create 完整实战指南 【免费下载链接】cli The official Lark/飞书 CLI tool, maintained by the larksuite team — built for humans and AI Agents. Covers core business domains including Messenger, Docs, Base, Sheets… · 2026/9/22 18:45:27

2026最新移动观象台面试避坑指南:3个底层逻辑助你通关
2026最新移动观象台面试避坑指南:3个底层逻辑助你通关

2026最新移动观象台面试避坑指南:3个底层逻辑助你通关 版本升级后 API 全变了,代码刚跑通就报 404?这是 2026… · 2026/9/22 18:45:27

gate.io官网源码解析:3步搞定前端架构避坑指南
gate.io官网源码解析:3步搞定前端架构避坑指南

gate.io官网源码解析:3步搞定前端架构避坑指南 官方文档翻了三遍还是晕头转向?别急,今天直接扒 gate.io 官网的前端源码,把那些藏在代码里的门道讲透。与其在长篇大论的文档里打转,不如直接看实战代码,这才是最快的学习方式。… · 2026/9/22 18:45:21

比赛服道具领取:3种后端实现方案对比,避开高频面试题陷阱
比赛服道具领取:3种后端实现方案对比,避开高频面试题陷阱

比赛服道具领取:3种后端实现方案对比,避开高频面试题陷阱 版本升级后 API 全变了,这是最近不少开发者吐槽的痛点。特别是在处理像“比赛服道具领取”这种高并发、状态复杂的业务逻辑时,底层框架的迭代往往导致原有代码大面积报错。很多刚入职的工程… · 2026/9/22 19:28:46

海红9实战:搞定高频面试题与证书变更全流程
海红9实战:搞定高频面试题与证书变更全流程

海红9实战:搞定高频面试题与证书变更全流程 刚接手“海红9”这个内部代号的项目时,我盯着控制台那一长串红色的 StackTrace 发呆。报错信息里全是 NullPointerException 和 Connection Refused… · 2026/9/22 19:28:27

3分钟吃透convert源码:附完整示例,别再被官方文档绕晕
3分钟吃透convert源码:附完整示例,别再被官方文档绕晕

3分钟吃透convert源码:附完整示例,别再被官方文档绕晕 打开浏览器,盯着那几页密密麻麻的官方文档,是不是感觉脑子像被浆糊糊住了? 官方文档太长抓不住重点,尤其是涉及到底层字节流转换的 convert… · 2026/9/22 19:28:27

MoneyPrinter 后端测试指南:pytest 测试架构、命令速查与源码级解析
MoneyPrinter 后端测试指南:pytest 测试架构、命令速查与源码级解析

后端人工智能大模型本地部署媒体生成音视频 【免费下载链接】MoneyPrinter Automate Creation of YouTube Shorts using MoviePy. 项目地址: https://gitcode.com/gh_mirrors/mo/MoneyPrinter 点击查看 免费下载 MoneyPrinter 是一个通过输入视频主题自动生成 YouT… · 2026/9/22 19:28:27

5道你渴望力量吗高频面试题:从手撕代码到原理透传
5道你渴望力量吗高频面试题:从手撕代码到原理透传

5道你渴望力量吗高频面试题:从手撕代码到原理透传 面试被问原理答不上来,那种大脑一片空白的感觉,真的让人崩溃。你背了八股文,也刷了不少LeetCode,但一旦面试官追问“为什么这么设计”或者“底层是怎么实现的”,你就卡壳了。这就是为什么你需… · 2026/9/22 19:28:14

没有对比就没有伤害源码深度剖析
没有对比就没有伤害源码深度剖析

3天搭出证书管理系统:图解原理让你告别只会语法不会写项目 刚学完 Python 或 Java 的语法,是不是感觉代码写得挺顺,但一提到“搭个完整项目”就脑子发懵? 很多学员卡在“学会语法却不知怎么搭项目”这一步,明明会写… · 2026/9/22 19:28:08

5个电影海报图片处理坑,新手避坑指南
5个电影海报图片处理坑,新手避坑指南

5个电影海报图片处理坑,新手避坑指南 刚写完代码,一运行屏幕直接炸了。满屏红色的 StackTrace 滚得比弹幕还快,什么 NullPointerException 、 ImageIO.read() returned null 、… · 2026/9/22 0:00:07

注册微信公众账号:一文搞懂从0到1全流程
注册微信公众账号:一文搞懂从0到1全流程

注册微信公众账号:一文搞懂从0到1全流程 复制来的代码跑不通,报错信息满屏飞,到底卡在哪?别急,咱们先停下手里的调试。很多开发者觉得注册微信公众账号只是填个表单、传个身份证那么简单,真上手才发现坑深不见底。今天这篇 一文搞懂… · 2026/9/22 0:00:07

手写实现图片压缩网站核心:搞定WebP转换与质量调优
手写实现图片压缩网站核心:搞定WebP转换与质量调优

手写实现图片压缩网站核心:搞定WebP转换与质量调优 复制来的代码跑不通不知道怎么调?别慌,这种“复制粘贴地狱”在开发圈太常见了。尤其是做 图片压缩网站… · 2026/9/22 0:00:19

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码