首页/新闻资讯/正文详情

skynet线上问题查证练习记录(更新中)

发布时间:2026/11/17 1:42:47 来源:云帆数科 栏目:资讯中心
skynet线上问题查证练习记录(更新中)
cpu暴涨类在匹配服务中新增一个死循环。-- 玩家请求开始匹配functionCMD.start_match(uid,elo_val,name,agent_addr)-- FAULT INJECTION (INJECTED): CPU 死循环 local_fault_counter0whiletruedo_fault_counter_fault_counter1end-- END FAULT INJECTION -- 防重复检查ifuid_bucket_map[uid]thenreturn{okfalse,errmsgalready in matching queue}end-- 找到对应的段位桶localbucket_nameelo.get_bucket(elo_val)localbucket_players_aget_bucket_players(bucket_name)table.insert(bucket_players_a,{uiduid,eloelo_val,namename,agent_addragent_addr,enter_timeskynet.now()/100,})uid_bucket_map[uid]bucket_name rpc.send(chat_mgr,update_player_state,uid,matching)skynet.error(string.format([match_mgr] player enter queue: uid%d name%s elo%d bucket%s total%d,uid,name,elo_val,bucket_name,get_total_queue_size()))return{oktrue}end步骤一、先查看正常情况下的skynet的正常状态服务列表消息队列和cpu内存占用情况查看cpu使用率# 2. 看 Battle 节点的 CPUtop-p$(pgrep-fchatroom.*battle|head-1)-bn1|head-5解析第一行系统概览top - 21:24:02 up 1:13, 0 users, load average: 4.99, 4.75, 4.65字段含义你的值21:24:02当前时间晚上 9:24up 1:13开机到现在 1 小时 13 分—0 users登录用户数0你可能是 ssh 进来的不算load average面试高频考点⚠️ 4.99 / 4.75 / 4.65load average 三个数字指过去 1 分钟、5 分钟、15 分钟的平均负载。含义是等待 CPU 等待 IO 的进程数。你的值 4.99 意味着平均有 5 个进程排队等资源。如果机器是 4 核那已经饱和了。 面试技巧load CPU 核心数 → CPU 瓶颈load 高但 CPU us 低 → IO 瓶颈。第二行进程统计任务: 1 total, 0 running, 1 sleeping, 0 stopped, 0 zombie字段含义total总计进程/线程running正在 CPU 上跑sleeping在等事件网络 IO、定时器等stopped被信号暂停zombie僵尸进程不为 0 就要查第三行CPU 分解 ⭐ 最重要%Cpu(s): 0.0 us, 1.6 sy, 0.0 ni, 98.4 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st这是瓶颈区分的核心依据缩写全称含义告警阈值ususer用户态 CPU你的业务代码 80% → 代码死循环/计算密集sysystem内核态 CPU系统调用 30% → 频繁 IO/锁竞争ninice低优先级进程的 CPU通常忽略ididle空闲接近 100% 没事waiowait等磁盘 IO 的 CPU 时间 10% → 磁盘瓶颈hihardware irq硬件中断通常 1%sisoftware irq软中断网络包处理 5% → 网络包太多ststeal虚拟机被宿主机偷走的 CPU云主机关注 5% 不正常你的当前状态us0.0, id98.4→ CPU 几乎空闲还没触发故障。故障触发后你会看到us99.0, id0.0→ 用户态代码吃满 CPU典型死循环。记忆口诀us 高 代码有 bug死循环、复杂计算 sy 高 系统调用太多频繁 IO、锁 wa 高 磁盘慢数据库、日志写盘 si 高 网络包太多DDoS、广播风暴第四、五行内存MiB Mem : 3876.0 total, 112.2 free, 2192.3 used, 1571.5 buff/cache MiB Swap: 2048.0 total, 2045.5 free, 2.5 used. 1408.1 avail Mem字段含义你的值total总内存3.8 GBfree完全空闲112 MB看着少但正常used已用2.2 GBbuff/cacheLinux 用空闲内存做文件缓存可随时释放1.5 GBavail Mem实际可用 free 可释放的 cache1.4 GB ✅Swap used用了多少交换分区2.5 MB几乎没用好事free低别紧张看available。Linux 会尽可能把空闲内存用作文件缓存这是正常的。只有available持续下降才说明内存不够。 排查时你只需要看这三个排查 CPU 问题 → 看 %Cpu 那行us 高 代码问题sy 高 系统调用 排查 IO 问题 → 看 %Cpu 那行wa 高 等磁盘 排查内存问题 → 看 Mem 那行available 持续下降 内存泄漏 排查负载 → 看 load average超过 CPU 核数 系统过载二、查看哪个进程cpu占用使用top看出是skynet的一个进程接着查看skynet是谁cat /proc/{PID}/cmdline | tr \0 PID填写top查询到的异常进程id确定是battle进程有问题# 对 battle 进程采样 10 秒看 CPU 时间花在哪里sudoperftop-p8999看收集结果cpu全在跑lua解释器由于我的linux无法使用pstack为了不折腾环境就是用gdb# gdb 是 pstack 的底层直接用它看 Lua 调用栈sudogdb-p$(pgrep-fbattle|head-1)-batch-exthread apply all bt2/dev/null|grep-A5lua输出中找包含luaD_precall或luaV_execute的栈帧附近会有关键线索。但实际还是看不出来于是就必须开启debug_console来查证问题dbgcmd10TASK但遇到问题使用dbgcmd指令会在cpu暴涨时卡住无法使用我试了下再正常情况是能正常输出.dbgcmd 10 TASK没输出意味着match_mgr 已经彻底卡死拒绝处理任何消息——包括调试命令。 核心学习点Skynet 的死循环服务 彻底失联。dbgcmd、inject、TASK都走skynet.call服务必须在消息循环中才能响应。死循环 消息循环被卡住 所有 debug 命令超时。我后续的解决方案就是引入metrics模块监控rpc组件哪个操作耗时非常高就直接定位。暂时没有找到其他查证手段。内存泄漏环境搭建运维监控机器内存业务支持内存监控组件目前我是开发了一个子服务需要监控的服务就在启动时创建memory_monitor然后定时调用该服务中的gc接口用于监控memory_monitor 核心逻辑架构每个节点一个实例battle / logic独立轮询本节点服务 │ ├─ timer.every(10s) → 回调 │ │ │ ├─ ① 遍历 watch_listskynet.call 每个服务的 diag_mem │ ├─ ② 汇总 total检查两档告警 │ ├─ ③ 上报 Prometheusgauge_set │ └─ ④ 输出日志基线 / 常规 / 告警 / 恢复 │ └─ 被监控服务只需暴露 CMD.diag_mem() 接口两档告警告警触发器防抖单服务超阈值kb ALERT.per_servicealert_state[svc]标记只告一次降回阈值以下发[RECOVER]10 分钟增长recent - oldest ALERT.delta_10min无防抖每次超都告滑动窗口 60 个采样点滑动窗口实现history { {tick, total}, {tick, total}, ... } ↓ 每次 tick: push 新采样点 → 移除 tick now-6000 的旧点 ↓ delta_10min history[#history].total - history[1].total关键设计点skynet.call会永久阻塞被监控服务如果不响应无CMD.diag_mem或 dispatch 报错定时器链断裂之后所有轮询停止。用pcall 失败日志兜底。service 名称必须用小写skynet.queryservice查的是.service本地注册表来自skynet.uniqueservice不是harbor.globalname的集群注册表——大小写不匹配会永久阻塞。collectgarbage(count)返回浮点数所有string.format用%.0f不能用%d。detail字段是诊断内存泄漏的关键被监控服务在diag_mem中返回各数据结构的条目数日志输出match_mgr68KB (match_history3, queue_players0)哪个字段独涨就定位到泄漏源。步骤第一层运维告警机器级Prometheus / Grafana 监控节点 RES/RSS → 单节点内存持续上涨不回落 → 触发运维告警通知研发介入这一层只告诉你哪个节点出了问题不涉及具体服务。第二层memory_monitor 定位服务服务级查看 memory_monitor 日志 → 常规行格式 battle total92KB ⬆ delta12KB d10m12KB | match_mgr92KB (match_history2, queue_players0, uid_mappings0)判定方法观察点结论total持续单调上涨确实有泄漏delta每轮都为正泄漏速率稳定[ALERT] per_service触发单服务越过阈值[ALERT] 10min delta触发长期趋势确认泄漏某服务显示OFFLINE服务挂了或被监控的服务没注册第三层detail 字段定位数据结构结构级match_mgr92KB (match_history2, queue_players0, uid_mappings0) ───────────┬────────── ──────┬────── ───────┬─────── ↑ 独涨 ↑ 归零 ↑ 归零 → 泄漏源就是 match_history判定规则在所有detail字段中正常字段随业务波动归零泄漏字段只增不减。把业务跑一轮再看第二轮的 detailtext第一轮 match 后: match_history1, queue_players0 第二轮 match 后: match_history2, queue_players0 ← 只有 match_history 在涨第四层代码 diff 定位提交代码级git log -- chatroom/service/match_mgr.lua → 找到近期改动的 commit → git diff HEAD~3..HEAD -- chatroom/service/match_mgr.lua → 重点关注新增的全局表、table.insert 没有对应 remove、闭包引用等常见泄漏模式速查模式特征detail 表现全局表只增不减table.insert无对应的table.remove某个 field 单调递增事件监听未解绑skynet.call或timer.every不 cancel内存缓慢增长detail 无明显特征闭包持有大对象匿名函数捕获了 table 引用不释放detail 看不出需用collectgarbage(count)手动对比协程泄漏skynet.fork创建的协程永不退出服务总内存涨但 detail 各字段正常总结四步闭环

相关推荐

大模型推理优化全解:KV Cache、PagedAttention、连续批处理与投机解码
大模型推理优化全解:KV Cache、PagedAttention、连续批处理与投机解码

大模型推理优化全解:KV Cache、PagedAttention、连续批处理与投机解码 一、一个真实的"为什么这么慢" 搭了个大模型服务,用户一上来就问:"你为什么这么慢?"盯着屏幕看推理时间——7 秒一个 token。回头一看配… · 2026/11/13 18:27:52

让员工的浏览器“只干该干的事“:企业浏览器管控四道防线
让员工的浏览器“只干该干的事“:企业浏览器管控四道防线

摘要:浏览器是企业 IT 管控的薄弱环节——员工随意安装浏览器、访问高风险站点、私装扩展、修改设置,网关方案管不到浏览器内部。本文基于 Endpoint Central 的浏览器安全能力,提出"入口审批 → 网站锁定 → 风险隔离 → 新旧兼容"… · 2026/11/14 4:42:37

Agentic AI 框架选型指南:OpenAI Agents SDK 与主流框架对比
Agentic AI 框架选型指南:OpenAI Agents SDK 与主流框架对比

Agentic AI 框架选型指南:OpenAI Agents SDK 与主流框架对比 一、选框架之前,先立坐标系 如果你要在这一周给产品加一个能自主干活的 AI,大概率会在多个 Agentic AI 框架之间反复横跳。但"框架好不好"没法直接比,得先有… · 2026/11/13 23:00:40

泉州南安电工证哪里考 别踩坑了,正规报名流程全在这
泉州南安电工证哪里考 别踩坑了,正规报名流程全在这

泉州南安电工证哪里考 别踩坑了,正规报名流程全在这 你有没有遇到过这种情况:手里有一份电工工作,却发现没有电工证,想考又不知道去哪报名?在泉州南安,很多人因为不了解流程,被一些不良中介忽悠, 千万别踩坑… · 2026/11/17 1:42:25

盘州市电工证报名良心建议:别被中介坑,看完这篇就懂了
盘州市电工证报名良心建议:别被中介坑,看完这篇就懂了

盘州市电工证报名良心建议:别被中介坑,看完这篇就懂了 你是不是正为【盘州市电工证报名】发愁?不知道该去哪报名,怕被中介坑?别慌,这篇文章就是为你准备的,全是 良心建议 ,不讲虚的,只讲干货。… · 2026/11/17 1:42:25

喜兴电大电工证复审值不值得考?老电工告诉你真相
喜兴电大电工证复审值不值得考?老电工告诉你真相

喜兴电大电工证复审值不值得考?老电工告诉你真相 你不知道去哪报名怕被中介坑,对吧?尤其是像你这样在济源干建筑的电工,天天在工地上跑,手头活多,时间紧,想找个靠谱的渠道把电工证复审搞定,结果一查全是中介,真假难辨,信息也乱。别急,今天我就以老… · 2026/11/17 1:42:25

电工作业十四不准是上岗必备的关键知识点
电工作业十四不准是上岗必备的关键知识点

电工作业十四不准是上岗必备的关键知识点 你是不是也遇到过这种情况:好不容易找到一份电工相关的工作,结果被告知必须先有特种作业证才能上岗?现在越来越多的企业和项目要求电工必须持有“电工作业十四不准”相关知识的考核合格证明,这是 上岗必备… · 2026/11/17 1:42:25

电工证需要什么东西上岗必须要这个证吗
电工证需要什么东西上岗必须要这个证吗

外省电工证能转吗怎么报名?这几点你得知道 之前考的证在外省能不能转过来?这个问题是很多在外地打工或者打算转岗的电工朋友最关心的事。特别是像信阳浉河区这样正在转型的区域,很多工人手上可能有外省的电工证,但又担心不能在本地使用。其实,只要你的证… · 2026/11/17 1:42:25

固安哪有考电工证的模拟考试题库全国通用
固安哪有考电工证的模拟考试题库全国通用

固安哪有考电工证的模拟考试题库全国通用 实操考试心里没底怕挂科,这几乎是每个准备考电工证的学员都有的真实感受。尤其是面对高压电工证、低压电工证这样的“硬门槛”,很多人心里打鼓。其实,考电工证不是难事,关键是你怎么准备,怎么选择培训机构,怎么… · 2026/11/17 1:41:25

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/16 3:21:55

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/16 3:01:18

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/16 8:30:17

安徽特种工考证学校千万别踩坑,学历不高也能考证上岗
安徽特种工考证学校千万别踩坑,学历不高也能考证上岗

安徽特种工考证学校千万别踩坑,学历不高也能考证上岗 你是不是总觉得学历不高就考不了证,连报名资格都够不上?其实,很多人和你一样,学历不占优势,但想通过考证转行或提升自己的职业竞争力。安徽特种工考证学校虽然门槛不高,但千万别踩坑,稍有不慎就会… · 2026/11/17 0:00:20

你没学历也能考福田特种作业操作证?真实经历告诉你怎么干
你没学历也能考福田特种作业操作证?真实经历告诉你怎么干

你没学历也能考福田特种作业操作证?真实经历告诉你怎么干 你是不是觉得学历不高就考不上福田特种作业操作证?其实不然,我有个老乡,初中毕业,现在在安阳干焊工,每月拿8000多,还评上了高级技师。他的经历我今天就给你说说,看看你能不能照着走。… · 2026/11/17 0:00:20

低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审
低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审

低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审 证书过期了不知道怎么复审延期?低压电工证是很多电工从业者必须持有的证件,一旦到期未及时办理复审,不仅影响工作,还可能面临被单位辞退甚至罚款。今天我就从南阳地区培训机构学员的角度,详细告诉… · 2026/11/17 0:00:20

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:43

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:57

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:48

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码