【运维监控】Prometheus+grafana+kafka_exporter监控kafka运行情况

运维监控系列文章入口【运维监控】系列文章汇总索引最近在研究 AI BI智能数据分析 的落地实践。敬请期待后续专题实战系列《从零手把手教你搭建 AI 驱动的 BI 系统》将覆盖 Text2SQL、多轮对话、语义层、权限治理、生产级部署全链路代码可落地、坑点全复盘。文章目录一、prometheus二、grafana三、部署kafka_exporter1、下载2、解压3、配置4、启动5、验证四、prometheus集成grafana监控kafka1、修改prometheus配置2、导入grafana模板3、验证本示例通过kafka_exporter收集kafka的监控指标然后将数据收集到prometheus中最后通过grafana的dashboard导入模板进行可视化。本示例分为四个部分即prometheus、grafana部署、kafka_exporter部署与配置和最后的集成。说明本示例中的部署环境没有要求即应用部署的机器根据实际情况而定只要网络连通即可。一、prometheus参考【运维监控】prometheusnode exportergrafana 监控linux机器运行情况关于prometheus的部署。二、grafana参考【运维监控】prometheusnode exportergrafana 监控linux机器运行情况 关于grafana的部署。三、部署kafka_exporter通过kafka_exporter 用来收集 Topic、Broker、ConsumerGroup 的相关信息可以方便对接 prometheus 和 grafana使用起来比较方便。相比JMXkafka_exporter优势在于不需要消耗 JVM资源指标收集时间从分钟级别降到秒级别便于大规模集群的监控。1、下载下载地址https://github.com/danielqsj/kafka_exporter/releases下载版本kafka_exporter-1.8.0.linux-amd64.tar.gz2、解压tar-xvfkafka_exporter-1.8.0.linux-amd64.tar.gzcdkafka_exporter-1.8.0.linux-amd64/[alanchanserver3 bigdata]$pwd/usr/local/bigdata[alanchanserver3 bigdata]$ ll total742444drwxr-xr-x9alanchan root4096Dec302022kafka_2.12-3.0.0 -rw-r--r--1alanchan root10451435Sep602:49 kafka_exporter-1.8.0.linux-amd64.tar.gz[alanchanserver3 bigdata]$tar-xvfkafka_exporter-1.8.0.linux-amd64.tar.gz kafka_exporter-1.8.0.linux-amd64/ kafka_exporter-1.8.0.linux-amd64/LICENSE kafka_exporter-1.8.0.linux-amd64/kafka_exporter[alanchanserver3 bigdata]$cdkafka_exporter-1.8.0.linux-amd64[alanchanserver3 kafka_exporter-1.8.0.linux-amd64]$ ll total19980-rwxr-xr-x1alanchan root20446894Aug2007:06 kafka_exporter -rw-r--r--1alanchan root11357Aug2007:02 LICENSE3、配置1个kafka集群只需要1个kafka_exporter在集群上的任意1台服务器部署视情况而定。作者的kafka是一个集群环境部署在server1、server2和server3上kafka_exporter选择部署在server3上。kafka_exporter使用默认配置。4、启动# 收集单个kafka集群的指标cd/usr/local/bigdata/kafka_exporter-1.8.0.linux-amd64 ./kafka_exporter--kafka.serverserver1:9092[alanchanserver3 kafka_exporter-1.8.0.linux-amd64]$ ./kafka_exporter--kafka.serverserver1:9092 I0906 06:21:32.33039628902kafka_exporter.go:823]Starting kafka_exporter(version1.8.0,branchHEAD,revision477643dd764c46ddd804ac4bd4022be877e3085b)I0906 06:21:32.33425828902kafka_exporter.go:994]Listening on HTTP :9308 I0906 06:21:59.88992728902kafka_exporter.go:678][server1:9092 server3:9092 server2:9092]# 收集多个kafka集群的指标以下为示例kafka_exporter--kafka.serverserver1:9092[--kafka.serveranother-server...]kafka_exporter--kafka.serverserver1:9092--kafka.serverserver2:9092--kafka.serverserver3:90925、验证启动成功后可以访问 http://server3:9308/metrics四、prometheus集成grafana监控kafka1、修改prometheus配置在prometheus的配置文件prometheus.yml中添加如下配置部分。增加kafka_exporter的收集服务配置示例如下。- job_name:kafka-monitorstatic_configs: - targets:[server3:9308]重启prometheus后并验证是否收集到监控信息。查看Prometheus是否监控到运行的kafka应用如下图。在prometheus中查询收集到的指标数据如下图所示。2、导入grafana模板导入过程不再赘述参考文章【运维监控】Prometheusgrafana监控tomcat8.5 运行情况本示例导入的模板ID是7589(kafka-exporter-overview)。3、验证以上所涉及的服务均能正常的运行以及验证都通过。导入模板完成后会显示“No Data”只有当kafka中有数据的时候才会在模板中显示具体的指标数据。图示如下。以上完成了Prometheusgrafana监控kafka运行情况的示例。