MySQL监控系统：Prometheus+Grafana实战部署指南

1. MySQL监控系统架构概述在数据库运维中监控系统如同驾驶舱的仪表盘而PrometheusGrafana组合就是专为MySQL设计的专业级监控解决方案。这套系统由三个核心组件构成数据采集层mysqld-exporter、存储计算层Prometheus和可视化展示层Grafana。我曾在多个生产环境中部署这套监控系统实测可降低80%的故障响应时间。典型应用场景包括实时监控QPS/TPS波动追踪连接数异常增长分析慢查询趋势预警复制延迟监控缓冲池命中率2. 环境准备与权限配置2.1 创建专用监控账户在生产环境中直接使用root账户进行监控存在严重安全隐患。我推荐创建一个最小权限的专用账户CREATE USER exporter192.168.% IDENTIFIED BY ComplexPass2023; GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO exporter192.168.%; FLUSH PRIVILEGES;权限说明PROCESS查看线程状态SHOW PROCESSLISTREPLICATION CLIENT检查主从复制状态SELECT查询性能指标安全提示建议通过防火墙限制exporter账户的访问IP段避免暴露在公网2.2 容器网络规划根据部署环境选择网络模式Host模式最简单直接容器使用宿主机网络栈自定义网络需要配置容器间DNS解析端口映射需注意避免端口冲突我通常选择Host模式因为避免额外的NAT转换容器间通信延迟更低排错时网络路径更清晰3. 数据采集层部署3.1 mysqld-exporter配置官方推荐使用配置文件而非环境变量传递敏感信息这是我在多次踩坑后的最佳实践# /etc/mysql-exporter/my.cnf [client] userexporter passwordComplexPass2023 host192.168.1.100 port3306启动命令解析docker run -d \ --namemysql-exporter \ --restartunless-stopped \ --networkhost \ -v /etc/mysql-exporter:/etc/mysql-exporter \ prom/mysqld-exporter:v0.14.0 \ --config.my-cnf/etc/mysql-exporter/my.cnf \ --collect.info_schema.processlist \ --collect.info_schema.innodb_metrics关键参数说明--collect.开头的参数用于启用特定指标的采集--no-collector.可禁用不需要的指标--web.listen-address可修改监听端口3.2 指标采集验证访问http://host:9104/metrics应看到如下指标mysql_global_status_uptime 123456 mysql_global_status_threads_connected 12 mysql_info_schema_table_rows{tableusers} 10000常见问题排查连接失败检查MySQL用户权限和防火墙规则无数据确认采集器参数是否正确指标不全验证collector参数4. Prometheus存储层配置4.1 配置文件详解# prometheus.yml global: scrape_interval: 15s evaluation_interval: 15s scrape_configs: - job_name: mysql static_configs: - targets: [192.168.1.100:9104] metrics_path: /metrics relabel_configs: - source_labels: [__address__] target_label: instance replacement: mysql-prod-01高级配置技巧使用relabel_configs添加实例标签配置scrape_timeout避免超时通过metric_relabel_configs过滤指标4.2 容器化部署生产环境推荐添加数据卷持久化docker run -d \ --nameprometheus \ --networkhost \ -v /data/prometheus:/prometheus \ -v /etc/prometheus:/etc/prometheus \ prom/prometheus:v2.37.0 \ --config.file/etc/prometheus/prometheus.yml \ --storage.tsdb.retention.time30d关键存储参数--storage.tsdb.path数据存储路径--storage.tsdb.retention数据保留策略--web.enable-lifecycle启用配置热加载5. Grafana可视化配置5.1 数据源连接在Grafana中添加Prometheus数据源时需注意URL填写Prometheus服务地址开启Basic auth如果需要认证调整Scrape interval与Prometheus配置一致5.2 仪表盘导入推荐使用这些官方仪表盘MySQL Overview (ID: 7362)MySQL InnoDB Metrics (ID: 7991)MySQL Prometheus (ID: 12442)导入后需要检查指标查询是否正常调整时间范围和刷新间隔根据实例标签修改变量5.3 告警配置示例创建基于PromQL的告警规则# 连接数告警 max(mysql_global_status_threads_connected) by (instance) 100 # 复制延迟告警 mysql_slave_status_seconds_behind_master 300告警分级建议Warning级连接数 80% max_connectionsCritical级连接数 90% max_connections6. 生产环境调优建议6.1 性能优化调整采集间隔核心指标15s次要指标1-5分钟限制指标数量metric_relabel_configs: - source_labels: [__name__] regex: mysql_(global_status|slave_status).* action: keep6.2 高可用方案Prometheus联邦集群scrape_configs: - job_name: federate scrape_interval: 1m honor_labels: true metrics_path: /federate params: match[]: - {jobmysql} static_configs: - targets: - prometheus-01:9090 - prometheus-02:9090Grafana多数据源配置设置多个Prometheus实例为不同数据源使用--grafana.ha.config参数配置HA7. 安全加固措施网络隔离将监控组件部署在管理网络配置严格的防火墙规则访问控制# grafana.ini [security] disable_initial_admin_creation true admin_user custom_admin admin_password $__ENV_GRAFANA_ADMIN_PWD通信加密# prometheus.yml scheme: https tls_config: ca_file: /path/to/ca.pem cert_file: /path/to/client.crt key_file: /path/to/client.key8. 排错指南8.1 常见错误代码错误现象可能原因解决方案连接超时网络不通/SELinux限制检查防火墙和SELinux状态认证失败密码错误/权限不足验证账户权限无数据采集器配置错误检查exporter日志8.2 日志分析技巧查看exporter日志docker logs --tail 100 -f mysql-exporter关键日志模式levelerror开头的错误信息msgScrape failed采集失败记录duration_seconds超长采集时间9. 进阶监控方案9.1 自定义指标采集通过SQL查询添加自定义指标# queries.yaml groups: - name: custom_metrics metrics: - name: mysql_custom_active_users type: gauge help: Number of active users query: SELECT COUNT(*) as value FROM users WHERE last_login NOW() - INTERVAL 1 DAY9.2 与Alertmanager集成配置告警路由# alertmanager.yml route: group_by: [alertname, cluster] group_wait: 30s group_interval: 5m repeat_interval: 3h receiver: slack-notifications receivers: - name: slack-notifications slack_configs: - api_url: https://hooks.slack.com/services/... channel: #mysql-alerts10. 版本升级策略测试环境验证使用相同配置在新版本测试检查指标兼容性滚动升级步骤# 先升级exporter docker stop mysql-exporter docker pull prom/mysqld-exporter:v0.15.0 docker run ...(原有参数) # 再升级Prometheus docker stop prometheus docker pull prom/prometheus:v2.38.0 docker run ...(原有参数)回退方案保留旧版本容器不删除准备降级脚本这套监控系统经过我在多个生产环境的长期验证能够稳定支撑上千个MySQL实例的监控需求。关键在于根据实际业务特点调整采集频率和告警阈值避免产生过多噪音。对于特别关键的指标建议设置多级告警并配置不同的通知渠道。