一、背景业务使用的 Redis 由主从切换到了 Cluster 后Redis 出现了诡异的内存上涨。二、排查路径1.查看 info查看 info 观测内存使用就是很高且碎片率很低,而且 key 的数量很少info memory2.查看真实数据大小用 rob 等工具分析真实大小详见文档发现真实数据只有不到 1M3.解析内存真实使用情况用 gdb 分析 内存真实使用情况注意在低峰期分析3.1 编写 gdb 脚本cat/tmp/sndbuf.gdbEOF set pagination off set print elements 0 set confirm off set $t server.cluster-nodes set $tab $t-ht[0].table set $size $t-ht[0].size set $i 0 set $total_alloc (unsigned long)0 set $total_len (unsigned long)0 set $link_count 0 printf \n Cluster Link sndbuf \n printf %-42s %-22s %-6s %-14s %-14s\n, NODE_NAME, IP:CPORT, TYPE, SDS_LEN, SDS_ALLOC while $i $size set $e $tab[$i] while $e ! 0 set $n (clusterNode*)$e-v.val if $n-link ! 0 if $n-link-sndbuf ! 0 set $s (unsigned char*)$n-link-sndbuf set $flags *($s - 1) set $type $flags 7 set $len (unsigned long)0 set $alloc (unsigned long)0 if $type 0 set $len $flags 3 set $alloc $len end if $type 1 set $len *(unsigned char*)($s - 3) set $alloc *(unsigned char*)($s - 2) end if $type 2 set $len *(unsigned short*)($s - 5) set $alloc *(unsigned short*)($s - 3) end if $type 3 set $len *(unsigned int*)($s - 9) set $alloc *(unsigned int*)($s - 5) end if $type 4 set $len *(unsigned long*)($s - 17) set $alloc *(unsigned long*)($s - 9) end printf %-42s %s:%-6d type%d %-14lu %-14lu\n, $n-name, $n-ip, $n-cport, (int)$type, (unsigned long)$len, (unsigned long)$alloc set $total_alloc $total_alloc $alloc set $total_len $total_len $len set $link_count $link_count 1 end end set $e $e-next end set $i $i 1 end printf \n Summary \n printf Links: %d\n, $link_count printf Total LEN: %lu bytes (%.2f MB)\n, $total_len, ((double)$total_len) / 1048576.0 printf Total ALLOC: %lu bytes (%.2f MB)\n, $total_alloc, ((double)$total_alloc) / 1048576.0 detach quit EOF3.2 执行脚本分析# 639587 为 redis 进程号sudotimeout3gdb-p639587-batch-x/tmp/sndbuf.gdb213.3 结果分析LEN 0所有链接当前没有积压待发送数据发送通道是通的网络 / 对端消费正常。ALLOC 406MB但缓冲区曾经膨胀过并且没有被回收这是 Redis Cluster 的一个典型内存隐性膨胀问题SDS 容量只增不减Redis 的 sds 在 sdsclear() / 数据发送完后只会把 len 置 0不会释放已分配的 buf。所以一旦某瞬间堆积过大内存就被永久占用直到链接重建。[New LWP637685][New LWP637686][New LWP637687][New LWP637688][Thread debugging using libthread_db enabled]Usinghostlibthread_db library/lib/x86_64-linux-gnu/libthread_db.so.1.0x00007fc5395b3e16inepoll_wait()from /lib/x86_64-linux-gnu/libc.so.6Cluster Link sndbufNODE_NAME IP:CPORT TYPE SDS_LEN SDS_ALLOC 77ed8a2e0c39d2f2a304e1ad216b56e3e0664a3b192.168.1.1:16379 type3041943030ee29bbe0d05ccd9a64215631ee140ea27921c81b192.168.1.2:16379 type306291446347b2126df4bde7c5b1ebb10ff43a51d09535733192.168.1.3:16379 type30167772150a4980d05cd232dadab82e25e7429c2f50c433ab9192.168.1.4:16379 type3041943030394723213b2d62e0b6276dfbf4d5247b80d289b0192.168.1.5:16379 type30167772150SummaryLinks:5Total LEN:0bytes(0.00MB)Total ALLOC:425721806bytes(406.00MB)[Inferior1(process637684)detached]3.4 详细原因排查那么为什么会有这种现象呢我们分析监控发现每次内存增长的时候都有一个 eval 的慢日志然后我们通过慢日志发现如下命令单条 publish 的 payload 接近 4.5MB因为 Redis 7 以下是全量广播所以会出现这个放大的问题。│ 一次业务 EVAL 调用的放大链 │ │ │ │ 客户端发出:4.5MB │ │ ↓ Lua 内2次 publish │ │ Redis 处理:9MB │ │ ↓ cluster bus 广播到5个节点 │ │ 集群内传输:45MB │ │ ↓ 其中真有订阅者的可能只有1~2 个节点 │ │ 有效流量: ≤9MB │ │ 浪费流量: ≥36MB(80%!)│ └─────────────────────────────────────────────────────┘命令4)1)eval2)for i 2, #ARGV do redis.call(\publish\, ARGV[i], ARGV[1]) end3)04){\src\:\******\,\seq\:5,\v\:0,\create\:{\type\:\******,\data\:{\tabs\:[\0\,\...(29959420morebytes) 5) ****** 6) *******三、解决方案1.解决方案升级到 Redis 7.2.9因为 Redis 7 只广播到对应节点且有 sds 回收机制所以升级到 7 后内存不再有上升的情况2.遇到的问题第二天中午时出现业务告警显示 command 命令不支持这是因为 command 返回的数据格式有差异低版本的 lettuce 处理不了这个问题而 command 命令只有重连的时候会出现所以第一天没有发现3.如何解决和避免解决业务 lettuce 版本由 5.1.8 升级 5.3.7解决问题能升级 6.2 以上更好不过需要注意 sring boot 的版本避免在测试的时候业务应该把 DBA 提供的访问 Redis 的服务代码用 AI 扫描下这样就能避免不适配的命令
企业数字化 ERP 产品动态
相关推荐
静态综合实验配置 实验步骤:1.数广播域个数:除了固定的R5环回地址外,我们共有6条骨干线路,R1-R4每个路由器存在两个换回接口,总共8个,所以一共是14个广播域(14个网段)。2.划分网段:2.1 划分… · 2026/11/18 17:14:01
【财务领域】【管理科学】第四十八篇 组织采购与财务体系精算设计 目录00 《组织采购与财务体系精算设计总纲》。 《全主体采购与财务精算体系设计》总目录(12卷)
设计原则: 双主线:采购体系(P2P)+ 财务体系(R2R / 资金 / 税务 / 成本) 多主体适配:大型/中型/小型企业、1400+行业小类、事业单位、行业协会学会、政府、央企国企、个体户 五级… · 2026/11/8 10:28:42
如何用密码保护PPS文件?看这篇就够了 PPS文件最方便的地方,就是双击直接全屏播放,不需要手动点“幻灯片放映”。正因为这个特性,很多人会把定稿的演示文稿存成PPS发给客户或领导。如果你的PPS文件比较重要,也可以通过它的密码功能来保护文件。PPS的密码分为“打开密码… · 2026/11/7 20:25:58
山东哪里办电工证多久拿证最稳妥 山东哪里办电工证多久拿证最稳妥 怕考不过白交培训费?山东哪里办电工证是很多人最先问的问题,但真正靠谱的培训机构和拿证时间,不是随便打听就能知道的。尤其是像南阳房建工程从业者这种,日常工作接触电、设备、线路频繁,… · 2026/11/20 1:37:22
济阳焊工证电工证值不值得考?外省证能转吗?全在这篇说透了 济阳焊工证电工证值不值得考?外省证能转吗?全在这篇说透了 之前考的证在外省能不能转过来?这个问题几乎每个想考【济阳焊工证电工证】的人都问过。说实话,以前在别处考的证,到了济阳真的能用吗?能转吗?很多人心里没底,尤其是像你这样在开封本地从事建… · 2026/11/20 1:37:22
一级电工证含金量排名实操考试心里没底怕挂科?良心建议在这 一级电工证含金量排名实操考试心里没底怕挂科?良心建议在这 实操考试心里没底怕挂科?别急,咱这行的过来人告诉你,一级电工证含金量排名不是凭空来的,得靠实打实的考试和经验。别看证书上写着“一级”,背后是真功夫,尤其是实操这块,不练不熟就容易栽跟… · 2026/11/20 1:37:22
2026河南最新政策下电工证多少学费 工地太忙根本没时间复习考试 2026河南最新政策下电工证多少学费 工地太忙根本没时间复习考试 工地太忙根本没时间复习考试,这话真不是吹的。每天从早忙到晚,连吃饭都得抢时间,更别提抽出空来复习电工证考试了。尤其是在河南,像郑州金水区这种建筑工地集中的区域,很多电工工种的… · 2026/11/20 1:37:22
孝感在哪可以考电工证怎么考?郑州报考避坑指南全攻略 孝感在哪可以考电工证怎么考?郑州报考避坑指南全攻略 证书过期了不知道怎么复审延期?你不是一个人。很多电工证持有者在面临证书到期时,才发现自己对复审流程一无所知,甚至不知道在哪可以考电工证,更别提如何规避郑州报考中的各种坑了。今天,我们就从孝… · 2026/11/20 1:37:22
房屋装修要电工证 考前押题怎么安排才能不耽误工地进度 房屋装修要电工证 考前押题怎么安排才能不耽误工地进度 工地太忙根本没时间复习考试,这事儿我懂。上个月三门峡一个工地出了事故,就是电工没证干私活,结果被罚了两万,老板还被追责了。你要是也正愁没时间复习,那得抓紧了,考前押题安排不好,真有可能栽… · 2026/11/20 1:36:20
长春初级电工证怎么考?通过率揭秘全在这里 长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/19 16:06:02
国内电工证报考条件与考试时间 低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/19 17:40:37
电工作业时如何断电?电子证书到底能不能全国通用? 电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/19 17:50:07
建设厅特种工周三报名怎么弄?上岗必备别被中介坑 建设厅特种工周三报名怎么弄?上岗必备别被中介坑 不知道去哪报名怕被中介坑?作为商丘某高校工程类应届毕业生,小李最近就遇到了这样的困扰。他刚毕业,正在找实习岗位,发现很多工地都要求持有特种作业操作证,尤其是【建设厅特种工周三报名】这个时间点,… · 2026/11/20 0:00:54
中专考的中级电工证内部消息全攻略 中专考的中级电工证内部消息全攻略 你中专毕业,手头有中级电工证,但不知道从哪开始报名,怕被中介坑?别急,这篇文章就是为你量身定制的“内部消息”,帮你避开报名陷阱,稳稳拿到证书。… · 2026/11/20 0:00:54
外省电工证能转过来吗?电子证书怎么查电工作业教学效果评价 外省电工证能转过来吗?电子证书怎么查电工作业教学效果评价 之前考的证在外省能不能转过来?这几乎是所有在外地打拼的电工从业者最关心的问题。特别是像洛阳这样的工业城市,很多电工证是在外地考的,现在想在当地用,流程是不是很复杂?其实,只要搞清楚… · 2026/11/20 0:00:54
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/19 6:33:25
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/19 6:33:32
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/19 0:22:38