K8s 探针超时设短了反而触发重启：CrashLoopBackOff 的排查路径

本文摘要liveness 探针默认超时 1 秒启动阶段健康检查持续失败反复触发容器重启。需从集群事件定位失败原因实测健康接口耗时后再选择修复方案。一、问题与结论一个部署在 K8s 上的 Python 服务启动后需要约 25 秒完成数据库连接池初始化和缓存预热。应用本身运行正常但 Pod 始终处于CrashLoopBackOff状态重启次数持续增长。根因是livenessProbe未显式设置timeoutSeconds走的是1 秒默认值。健康接口/health首次调用会触发 25 秒初始化kubelet 等待 1 秒后判定超时失败。连续 3 次失败后容器被 SIGKILL重启后初始化从头开始——形成死循环。结论单纯调大timeoutSeconds是掩盖症状。正确做法是引入startupProbe在时间维度上隔离启动阶段与运行阶段让livenessProbe保持对真正运行期故障的检测灵敏度。二、排查与选择依据探针失败发生在 kubelet 层面不一定写入应用日志直接看应用日志容易遗漏根因。排查顺序应为Kubernetes 事件 → 探针配置 → 应用响应时间从外部机制反推内部行为而非从日志倒推。Step 1确认 Pod 状态。kubectl get pods-lappslow-start-appStep 2查看 Events寻找Unhealthy事件。kubectl describe podpod-name如果看到以下事件说明是探针超时导致的重启Warning Unhealthy Liveness probe failed: Get http://10.0.0.5:8080/health: context deadline exceeded Normal Killing Container app failed liveness probe, will be restartedcontext deadline exceeded看起来像网络问题实际是探针超时。区分Liveness probe failed触发容器重启和Readiness probe failed仅影响流量路由至关重要——后者不会导致CrashLoopBackOff。Step 3确认探针参数是否被显式设置。kubectl get podpod-name-ojsonpath{.spec.containers[0].livenessProbe}如果timeoutSeconds为1或缺失基本可确认根因。Step 4查看上一个容器的日志确认是否在初始化阶段被杀。kubectl logspod-name--previous日志可能刚打到初始化开始就被截断——容器已被 SIGKILL应用侧不会收到优雅关闭信号。Step 5从 Pod 内部实测健康接口的真实响应时间。kubectlexec-itpod-name--curl-w\ntime: %{time_total}s\nhttp://localhost:8080/health如果time_total超过 1 秒矛盾得到验证。替代方案与取舍方案选择条件代价不适用场景调大timeoutSeconds至 5 秒健康接口响应在 1-5 秒波动无渐进恶化趋势真正 hang 死时kubelet 需多等 5 秒才能判定失败启动时间超过 5 秒的应用引入startupProbe本文方案启动初始化时间长且不稳定缓存预热、连接池建立Pod 从创建到 Ready 变长Service 有一段时间无可用后端启动时间极短 2 秒且稳定仅增加配置复杂度拆分轻量/healthz端点做 liveness健康检查逻辑本身较重需查数据库需修改应用代码增加端点所有探针指向同一端点的简单应用不应使用本文方案的情况如果应用启动时间短且稳定startupProbe只会增加配置维护成本直接设好timeoutSeconds即可。三、关键原理探针参数是一个整体不能孤立调整最大容忍时间 periodSeconds × failureThreshold默认值下10 × 3 30秒——容器启动后 30 秒内 liveness 探针判定不健康并杀容器。而timeoutSeconds默认仅1 秒如果健康接口首次调用需 25 秒无论探测几次每次都会在 1 秒内超时。startupProbe的工作逻辑容器启动后只有 startupProbe 在运行liveness/readiness 被暂停startupProbe 成功后liveness/readiness 才开始执行总等待时间 failureThreshold × periodSeconds如12 × 5 60秒启动阶段的慢响应不会触发容器重启容器被杀后重启间隔逐次翻倍10 秒、20 秒、40 秒……最长 5 分钟。这就是CrashLoopBackOff状态的来源——kubelet 主动退避避免反复杀容器消耗资源。四、可运行示例环境Kubernetes v1.28Python 3.12 Flask 3.1。模拟一个启动后需要 25 秒才能让/health在 1 秒内响应的服务# app.pyimporttimefromflaskimportFlask,jsonify appFlask(__name__)startup_completeFalseapp.before_requestdefcheck_startup():globalstartup_completeifnotstartup_complete:time.sleep(25)startup_completeTruereturnNoneapp.route(/health)defhealth():returnjsonify({status:ok}),200if__name____main__:app.run(host0.0.0.0,port8080)构建镜像FROM python:3.12-slim WORKDIR /app RUN pip install flask3.1.0 COPY app.py . EXPOSE 8080 CMD [python, app.py]错误配置——不设timeoutSeconds无startupProbe# bad-probe.yamlapiVersion:apps/v1kind:Deploymentmetadata:name:slow-start-appspec:replicas:1selector:matchLabels:app:slow-start-apptemplate:metadata:labels:app:slow-start-appspec:containers:-name:appimage:your-registry/slow-start-app:latestports:-containerPort:8080livenessProbe:httpGet:path:/healthport:8080# timeoutSeconds 走默认 1periodSeconds 走默认 10failureThreshold 走默认 3部署并观察kubectl apply-fbad-probe.yaml kubectl get pods-lappslow-start-app-w预期输出基于官方文档行为推演未在真实集群验证NAME READY RESTARTS STATUS slow-start-app-7f8b9c-xxxxx 0/1 3 (25s ago) CrashLoopBackOff正确配置——增加startupProbe显式设置所有探针参数# good-probe.yamlapiVersion:apps/v1kind:Deploymentmetadata:name:slow-start-appspec:replicas:1selector:matchLabels:app:slow-start-apptemplate:metadata:labels:app:slow-start-appspec:containers:-name:appimage:your-registry/slow-start-app:latestports:-containerPort:8080startupProbe:httpGet:path:/healthport:8080timeoutSeconds:30periodSeconds:5failureThreshold:12successThreshold:1livenessProbe:httpGet:path:/healthport:8080timeoutSeconds:3periodSeconds:10failureThreshold:3successThreshold:1readinessProbe:httpGet:path:/healthport:8080timeoutSeconds:3periodSeconds:10failureThreshold:2successThreshold:1验证kubectl delete deployment slow-start-app kubectl apply-fgood-probe.yaml kubectl get pods-lappslow-start-app-w实际输出基于文档推演未在真实集群验证NAME READY RESTARTS STATUS slow-start-app-6d4a2f-xxxxx 1/1 0 Running五、验证结果与边界常见失败及原因现象原因修复startupProbe已配置但仍被重启集群版本 v1.18该功能未默认启用升级集群v1.20 稳定startupProbe 成功后短暂 Ready 又 UnhealthylivenessProbe 的timeoutSeconds仍过小偶发慢请求导致失败调至 3-5 秒覆盖偶发波动Events 中只有Readiness probe failedreadinessProbe 不触发容器重启仅影响流量路由检查应用是否真正不健康而非探针超时边界条件本文所有 Pod 输出均为基于官方文档行为的推演未在真实集群验证startupProbe从 v1.16 进入 Alphav1.18 Beta 并默认启用v1.20 起稳定集群 ≥ v1.18 均可直接使用kubelet 自身负载高时探针执行可能被延迟排查时需要排除terminationGracePeriodSeconds默认 30 秒应用收到 SIGTERM 后关闭慢时重启可能与新探针周期重叠思考startupProbe总容忍时间设得过大时真正启动失败的应用要等多久才能被发现是否需要额外监控兜底多副本部署中每个 Pod 启动需较长时间Service 期间无可用后端是否需在 Ingress 层增加缓冲参考资料Kubernetes 官方文档 — Configure Liveness, Readiness and Startup ProbesKubernetes API Reference — Pod v1 ProbeKubernetes 官方文档 — Pod Lifecycle 与 RestartPolicy