Rancher Manager监控方案：Prometheus指标收集与实战

1. Rancher Manager 指标收集概述在 Kubernetes 集群运维中指标收集是确保系统稳定性的关键环节。Rancher Manager 作为企业级 Kubernetes 管理平台内置了基于 Prometheus 的监控解决方案能够自动采集集群各个维度的运行指标。这些指标数据不仅用于实时监控更是容量规划、性能调优和故障排查的重要依据。实际运维中我们通常需要关注三类核心指标集群基础设施指标CPU/内存/磁盘/网络Kubernetes 组件指标API Server、etcd、Controller Manager等工作负载指标Pod/Deployment/StatefulSet的资源使用情况2. 监控组件架构解析2.1 Rancher Monitoring V2 核心组件Rancher 的监控能力由以下组件协同实现Prometheus Operator - 负责 Prometheus 实例的生命周期管理 Prometheus Server - 指标收集与存储核心 Grafana - 数据可视化平台 Alertmanager - 告警路由与通知 kube-state-metrics - 转换K8s对象状态为指标 node-exporter - 采集节点级系统指标重要提示从 Rancher v2.5 开始监控方案已升级为 Monitoring V2旧版 V1 监控不再推荐使用。2.2 数据流向示意图指标收集的完整流程如下node-exporter 采集主机指标通过9100端口kube-state-metrics 转换K8s对象状态通过8080端口各组件暴露的/metrics接口提供业务指标Prometheus 定期抓取上述指标数据持久化到Prometheus TSDBGrafana 从Prometheus查询数据展示3. 指标收集实战配置3.1 启用基础监控功能通过 Rancher UI 启用监控的步骤登录 Rancher 控制台进入目标集群的仪表盘视图左侧导航选择监控点击启用按钮配置关键参数存储类建议SSD资源限制生产环境至少分配4核8G数据保留周期默认15天# 通过helm values.yaml自定义配置示例 prometheus: prometheusSpec: retention: 30d # 延长数据保留时间 resources: limits: cpu: 4 memory: 8Gi3.2 自定义指标采集配置对于非标准工作负载需要创建 ServiceMonitor 或 PodMonitor 资源。以下是采集自定义应用指标的示例apiVersion: monitoring.coreos.com/v1 kind: ServiceMonitor metadata: name: custom-app-monitor spec: selector: matchLabels: app: my-custom-app endpoints: - port: web # 对应Service的端口名称 path: /metrics interval: 30s namespaceSelector: any: true4. 关键指标解析与运用4.1 基础设施健康指标核心节点指标及其意义指标名称正常范围告警阈值建议说明node_cpu_seconds_totaluser% 70%user% 85%CPU使用率node_memory_MemAvailable_bytes 总内存20% 总内存10%可用内存node_filesystem_avail_bytes 20% 10%磁盘剩余空间node_network_receive_bytes_total-突增300%网络流量异常4.2 Kubernetes 核心组件指标关键API Server指标监控# API请求延迟 histogram_quantile(0.99, sum(rate(apiserver_request_duration_seconds_bucket[5m])) by (le, verb)) # etcd写入性能 histogram_quantile(0.9, rate(etcd_disk_wal_fsync_duration_seconds_bucket[5m])) # 调度器pending pods数量 sum(kube_pod_status_phase{phasePending}) by (namespace)5. 高级监控场景实现5.1 自定义告警规则配置创建 PrometheusRule 资源示例apiVersion: monitoring.coreos.com/v1 kind: PrometheusRule metadata: name: node-alerts spec: groups: - name: node.rules rules: - alert: HighNodeCPU expr: 100 - (avg by(instance) (rate(node_cpu_seconds_total{modeidle}[5m])) * 100) 85 for: 10m labels: severity: warning annotations: summary: High CPU usage on {{ $labels.instance }} description: CPU usage is {{ $value }}%5.2 指标数据外部化将Prometheus指标导出到外部监控系统的两种方案方案一Remote Writeprometheus: prometheusSpec: remoteWrite: - url: http://external-monitor/api/v1/write queue_config: capacity: 10000 max_shards: 200方案二使用Prometheus Exporter# 安装prometheus-es-exporter示例 helm install prometheus-es-exporter stable/prometheus-elasticsearch-exporter \ --set es.urihttp://elasticsearch:92006. 性能优化与问题排查6.1 资源消耗优化Prometheus 内存优化配置prometheus: prometheusSpec: retentionSize: 50GB # 限制存储大小 walCompression: true # 启用WAL压缩 exemplars: maxSize: 5000000 # 限制示例数据大小6.2 常见问题处理问题1Prometheus 内存溢出现象Pod频繁OOMKilled解决方案增加内存限制减少采集间隔过滤不必要指标问题2指标缺失排查步骤检查ServiceMonitor/PodMonitor选择器验证目标Pod的/metrics端点检查Prometheus Target页面状态7. 可视化与告警配置7.1 Grafana 仪表板管理导入社区仪表板的两种方式通过Grafana UI直接输入Dashboard ID通过ConfigMap持久化apiVersion: v1 kind: ConfigMap metadata: name: grafana-dashboards labels: grafana_dashboard: 1 data: custom-dashboard.json: |- { title: My Dashboard, ... }7.2 告警通知集成配置Slack通知示例alertmanager: config: global: slack_api_url: https://hooks.slack.com/services/... route: receiver: slack-notifications group_wait: 30s receivers: - name: slack-notifications slack_configs: - channel: #alerts send_resolved: true8. 生产环境最佳实践经过多个生产集群的实践验证这些经验特别值得分享采集频率权衡基础设施指标15-30秒间隔业务指标根据重要性分级配置使用relabel_configs过滤无关指标长期存储方案prometheus: prometheusSpec: remoteWrite: - url: http://thanos-receive:10908/api/v1/receive多集群监控策略使用Rancher的全局监控功能或部署Thanos实现跨集群查询关键告警规则API Server错误率 5%Pod重启次数 3次/小时节点NotReady状态 5分钟对于Java应用建议在JVM参数中添加-Dcom.sun.management.jmxremote.port7091 -Dcom.sun.management.jmxremote.authenticatefalse这样可以通过jmx_exporter暴露更多JVM内部指标这些指标对于诊断内存泄漏、线程阻塞等问题至关重要。