K8s 生产故障排查： Pod / 节点 / 网络 / 存储 / 503 全套排障

前言前面我们依次学习了 K8s 集群搭建、应用部署、网络配置、监控、安全加固、持久化存储与备份容灾。集群跑起来不难但新手遇到报错第一反应往往是重启临时恢复却找不到根因故障反复出现。本文用大白话讲解排障思路零基础也能跟着操作。核心逻辑故障归为 5 大类镜像、Pod 容器、调度、节点、网络 存储。排查顺序看状态 → 查事件 → 看日志 → 修复。原则不要上来就盲目重启重启只是应急手段。前置概念requests和limitsrequests调度时预留的最小资源调度器按这个数值判断节点资源是否充足。limits容器资源上限超过会被限流或 OOM 终止。常见坑只配 limits、requests 设置过大服务器看着有资源Pod 依旧 Pending。一、Pod 常见异常1. ImagePullBackOff / ErrImagePull镜像拉取失败现象Pod 反复下载镜像失败。原因镜像名 / 版本写错版本不存在私有仓库缺少 Secret节点无法访问仓库节点时间异常导致证书校验失败。kubectl describe pod pod名称返回关键字解读no such image镜像不存在authentication failed仓库认证失败timeout网络超时。镜像拉取策略 imagePullPolicyAlways每次重建 Pod 都拉新镜像IfNotPresent本地有就用本地默认Never仅使用本地镜像坑标签用latest但策略不是 Always仓库镜像更新后集群不会重新拉取发布不生效。修复核对镜像地址配置私有仓库 Secret节点同步时间ntpdate time.aliyun.com2. CrashLoopBackOff容器反复重启现象容器启动后立刻崩溃持续重启。原因启动命令错误缺少配置 / 环境变量端口冲突权限不足健康检查超时emptyDir 临时目录打满。kubectl logs pod名称 kubectl logs pod名称 -p探针区分liveness存活探针探测失败 → 杀死 Pod 重启用来处理进程卡死。readiness就绪探针探测失败 → 不杀 Pod摘除流量等待应用就绪。坑探针超时设置太短应用启动慢被反复重启混淆两者作用。修复根据日志修正配置依次排查权限、磁盘、启动命令。3. OOMKilled容器被系统杀死现象内存超出限制进程被强制终止经常无业务日志输出。原因代码内存泄漏limit 设置过小Java JVM 参数未适配容器内存。两种 OOM 区分容器 OOMPod 状态标记 OOMKilled事件有记录节点内核 OOM整机内存耗尽系统随机杀进程Pod 无 OOM 标记需要查看节点系统日志/var/log/messages。修复上调内存 limit优化代码调整 JVM 参数。4. PendingPod 等待调度现象Pod 创建成功但一直不启动。原因CPU / 内存资源不足节点污点限制节点选择器不匹配PVC/SC 异常requests 预留资源不足。kubectl describe pod pod名称关键字Insufficient cpuCPU 不足Insufficient memory内存不足taint污点拦截调度污点 Taint 容忍 Toleration污点打在节点上限制 Pod 调度容忍写在 Pod 配置相当于通行证。效果等级NoSchedule禁止新 Pod 调度PreferNoSchedule尽量不调度NoExecute驱逐已经运行的 Pod坑忽略NoExecute业务 Pod 会被直接踢掉。二、节点故障排查节点 NotReady现象节点状态异常上面 Pod 开始被驱逐。原因服务器断网 / 宕机磁盘满或 inode 耗尽kubelet 停止PLEG 异常。kubectl cordon 节点名称 kubectl drain 节点名称 --ignore-daemonsets --delete-local-data --force systemctl restart containerd kubeletkubelet 驱逐阈值不是磁盘 100% 才驱逐默认使用率达到阈值就会标记节点压力提前驱逐 Pod。kubectl describe node 节点名磁盘排查命令df -h df -i三、网络故障访问服务 503核心结论99% 是 Service 后端没有就绪 Endpoint。kubectl get svc kubectl get endpoints 服务名称endpoints 为空常见原因Pod 与 Service 标签不匹配就绪探针失败Pod 持续重启。Service 四种类型ClusterIP仅集群内部访问默认NodePort节点 IP 端口对外访问LoadBalancer云厂商负载均衡ExternalName域名转发不代理流量坑ClusterIP 直接用公网访问肯定不通。Pod 之间网络不通、请求超时原因CNI 插件异常NetworkPolicy 拦截节点 IP 转发未开启节点时间不一致。集群网络调试临时 Podkubectl run -it --rm debug --imagebusybox -- sh四、存储故障承接上篇存储磁盘有空间但是无法写入inode 耗尽df -iPVC 已绑定挂载提示read-only filesystem底层存储故障坏道、快照锁定、存储只读保护PV 回收策略 ReclaimPolicyRetain删除 PVC 后 PV 保留需要人工清理Delete删 PVC 自动删除底层存储云盘Recycle清空复用已淘汰坑Retain 模式下重建 PVC 会绑定旧 PV残留脏数据。五、容易忽略命名空间 Namespace资源是命名空间隔离的不加-n默认查 default。kubectl get pods -A kubectl get svc -A kubectl describe pod -n 命名空间 pod名坑Pod、Service、Secret、PVC 不在同一个命名空间即使标签正确也无法关联。六、罕见诡异 BugPod 状态 Running、日志正常、端口监听但业务无法访问容器网卡路由错乱重建 Pod 解决。批量 Pod 无日志突然重启节点内核 OOM登录节点查系统日志。HPA 指标达标但不扩容冷却时间限制、metrics-server 指标采集延迟不是故障。快照备份成功恢复数据损坏快照期间数据库正在写入没有锁表产生脏数据。七、标准化排障流程# 1.查看节点状态 kubectl get nodes # 2.全局查看所有Pod kubectl get pods -A # 3.查看异常Pod事件 kubectl describe pod -n 命名空间 pod名 # 4.查看容器日志 kubectl logs -n 命名空间 pod名 # 5.检查服务端点、PVC状态 kubectl get endpoints -n 命名空间 服务名 kubectl get pvc -n 命名空间操作顺序先恢复业务 → 事后定位根因 → 新增监控规避复发。本周小结本篇覆盖 Pod、节点、网络、存储故障补充了 requests/limits、镜像拉取策略、探针、污点容忍、Service 类型、PV 回收策略、命名空间隔离等知识点。掌握这套流程不用盲目重启能独立定位大部分线上故障满足中小企业运维排障需求。重点事件和日志是排障第一线索。