使用Docker Compose部署Prometheus与Grafana监控系统

1. 项目概述监控系统是现代IT基础设施中不可或缺的一部分而Prometheus和Grafana的组合已经成为监控领域的黄金标准。这套方案不仅适用于大型分布式系统也能完美服务于中小型应用。我曾在多个生产环境中部署过这套监控栈它的灵活性和强大功能总能给我带来惊喜。Prometheus作为时序数据库和告警引擎负责数据的采集和存储Grafana则提供可视化仪表板让枯燥的监控数据变得直观易懂。两者配合使用可以构建从基础设施到应用层的全方位监控体系。特别是在容器化环境中这套方案的优势更加明显。2. 环境准备2.1 系统要求推荐使用Linux系统进行部署Ubuntu 20.04 LTS或CentOS 7/8都是不错的选择。硬件配置方面至少2核CPU4GB内存生产环境建议8GB以上50GB存储空间根据监控指标数量调整注意Prometheus对磁盘I/O要求较高建议使用SSD存储。如果监控目标超过100个应考虑单独部署Prometheus服务器。2.2 依赖安装首先确保系统已安装最新版的Docker和Docker Compose# Ubuntu/Debian sudo apt-get update sudo apt-get install -y docker.io docker-compose # CentOS/RHEL sudo yum install -y yum-utils sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo sudo yum install -y docker-ce docker-ce-cli containerd.io sudo systemctl start docker sudo curl -L https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m) -o /usr/local/bin/docker-compose sudo chmod x /usr/local/bin/docker-compose验证安装是否成功docker --version docker-compose --version3. Docker Compose部署3.1 编写docker-compose.yml创建一个项目目录然后编写docker-compose.yml文件version: 3 services: prometheus: image: prom/prometheus:latest container_name: prometheus restart: unless-stopped volumes: - ./prometheus.yml:/etc/prometheus/prometheus.yml - prometheus_data:/prometheus ports: - 9090:9090 command: - --config.file/etc/prometheus/prometheus.yml - --storage.tsdb.path/prometheus - --web.console.templates/etc/prometheus/consoles - --web.console.libraries/etc/prometheus/console_libraries - --storage.tsdb.retention.time30d networks: - monitor-net grafana: image: grafana/grafana:latest container_name: grafana restart: unless-stopped volumes: - grafana_data:/var/lib/grafana ports: - 3000:3000 networks: - monitor-net volumes: prometheus_data: grafana_data: networks: monitor-net: driver: bridge3.2 配置Prometheus创建prometheus.yml配置文件global: scrape_interval: 15s evaluation_interval: 15s scrape_configs: - job_name: prometheus static_configs: - targets: [localhost:9090] - job_name: node_exporter static_configs: - targets: [node_exporter:9100]3.3 启动服务在项目目录下执行docker-compose up -d等待约1分钟后可以通过以下URL访问Prometheus: http://服务器IP:9090Grafana: http://服务器IP:30004. 基础配置与使用4.1 Prometheus初始配置访问Prometheus Web界面后可以在Status Targets查看监控目标状态在Graph页面输入PromQL查询表达式在Alerts页面配置告警规则建议先添加node_exporter监控主机基础指标docker run -d --name node_exporter --net host \ -v /proc:/host/proc:ro \ -v /sys:/host/sys:ro \ -v /:/rootfs:ro \ prom/node-exporter:latest \ --path.procfs/host/proc \ --path.sysfs/host/sys \ --collector.filesystem.ignored-mount-points^/(sys|proc|dev|host|etc)($|/)然后在prometheus.yml中添加这个target。4.2 Grafana初始配置首次访问Grafana时默认用户名密码是admin/admin。登录后需要添加数据源Configuration Data Sources Add data source选择Prometheus类型URL填写http://prometheus:9090因为使用Docker网络点击Save Test验证连接导入官方仪表板点击 Import输入仪表板ID 1860Node Exporter Full选择Prometheus数据源点击Import5. 高级配置与优化5.1 Prometheus存储优化对于生产环境建议调整以下参数--storage.tsdb.retention.time: 数据保留时间默认15天--storage.tsdb.retention.size: 数据保留大小--storage.tsdb.wal-compression: 启用WAL压缩示例docker-compose.yml修改command: - --config.file/etc/prometheus/prometheus.yml - --storage.tsdb.path/prometheus - --storage.tsdb.retention.time90d - --storage.tsdb.retention.size100GB - --storage.tsdb.wal-compression5.2 Grafana插件安装Grafana支持丰富的插件生态系统。以安装Pie Chart插件为例docker exec -it grafana grafana-cli plugins install grafana-piechart-panel docker-compose restart grafana对于离线环境可以下载插件包后挂载到容器中volumes: - ./plugins:/var/lib/grafana/plugins5.3 告警配置Prometheus支持Alertmanager实现告警通知。添加Alertmanager服务alertmanager: image: prom/alertmanager:latest container_name: alertmanager restart: unless-stopped volumes: - ./alertmanager.yml:/etc/alertmanager/alertmanager.yml ports: - 9093:9093 networks: - monitor-net然后在prometheus.yml中添加配置alerting: alertmanagers: - static_configs: - targets: [alertmanager:9093]6. 常见问题排查6.1 Prometheus无法采集数据检查步骤确认target状态是否为UP检查网络连通性docker exec -it prometheus curl target:port查看Prometheus日志docker logs prometheus验证scrape配置是否正确6.2 Grafana无法连接Prometheus排查方法在Grafana容器内测试连接docker exec -it grafana curl http://prometheus:9090检查数据源配置中的URL确认网络配置确保在同一个Docker网络6.3 性能问题优化如果出现性能瓶颈增加Prometheus资源限制deploy: resources: limits: cpus: 2 memory: 4G优化scrape间隔非关键指标可以设置为30s或60s使用recording rules预计算常用查询7. 生产环境建议经过多个项目的实践我总结出以下经验对于大规模部署考虑使用Prometheus联邦或Thanos架构重要监控指标应设置适当的告警阈值定期备份Grafana仪表板配置导出JSON使用Grafana的Provisioning功能自动化配置为不同团队创建单独的Grafana组织和文件夹监控系统的维护同样重要定期检查存储空间使用情况监控Prometheus自身指标scrape失败率、内存使用等更新到稳定版本避免使用过旧的镜像这套监控方案我已经在多个生产环境中稳定运行超过两年从未让我失望。特别是在容器化环境中它的自动服务发现功能大大简化了配置工作。根据我的经验合理配置的PrometheusGrafana可以满足90%以上的监控需求。