Apache Pulsar 在 DC/OS 上部署实战：基于 Marathon 应用组构建集群

消息队列后端流处理【免费下载链接】pulsarApache Pulsar - distributed pub-sub messaging system项目地址https://gitcode.com/gh_mirrors/pulsar28/pulsar点击查看免费下载本篇指南基于 Apache Pulsar 官方文档DC/OS 部署章节对应 version-2.2.1 版本文档完整讲解如何在 DC/OS数据中心操作系统上通过 Marathon Application Group 部署一套包含 BookKeeper 存储层、Pulsar Broker 服务层与 Prometheus/Grafana 监控层的完整集群。读完本文你将掌握 DC/OS 前置条件评估、dcos marathon命令行部署、集群健康状态检查、生产/消费验证以及集群卸载的完整闭环操作。DC/OS 与 Pulsar 的部署形态DC/OSDataCenterOperatingSystem是构建于 Apache Mesos 之上的分布式操作系统用于在数据中心内统一部署和管理应用程序与系统服务。Apache Pulsar 以Marathon Application Group应用组的形式发布在 DC/OS 上——应用组把多个关联应用组织成可统一管理的集合非常适合描述 Pulsar 这种“存储层 服务层 监控层”的多组件拓扑。Pulsar 的 DC/OS 部署方案将整个集群划分为三个应用组应用组组成说明bookkeeper组3 个 bookie每个 agent 节点 1 个 1 个 bookie recovery自动恢复实例负责消息的持久化存储对应 bookie 术语 说明brokers组3 个 Pulsar broker每个节点 1 个 1 个 admin 实例负责消息路由、管理与对外服务monitory组1 个 Prometheus 实例 1 个 Grafana 实例负责集群指标采集与可视化部署完成后的拓扑中ZooKeeper 无需额外安装DC/OS 集群本身已在master.mesos:2181运行着一套 ZooKeeperPulsar 直接复用即可这一点在“仅凭一条命令拉起整个集群”的部署体验中十分关键。部署前置条件在 DC/OS 上运行 Pulsar 之前需要确认以下条件DC/OS 版本 1.9 及以上至少 3 个 agent 节点的 DC/OS 集群每个节点承担一个 bookie 与一个 broker已安装 DC/OS CLI 工具获取PulsarGroups.json配置文件该文件描述了完整的 Marathon 应用组定义位于 Pulsar 仓库的deployment/dcos目录下原文档给出的获取方式为直接下载该文件命令形如curl -O apache-pulsar-仓库/deployment/dcos/PulsarGroups.json。同时DC/OS 托管的 Mesos 集群中每个节点至少需要4 CPU4 GB 内存60 GB 持久化磁盘如果集群资源不足或想调整规模可以直接修改PulsarGroups.json中的资源配置CPU、内存、磁盘、实例数等以匹配实际集群能力。需要说明的是在当前仓库中deployment/目录下保留了 kubernetes/terraform-ansible 等部署方案见 deployment 目录DC/OS 专用的PulsarGroups.json由该版本文档指向项目仓库的deployment/dcos/PulsarGroups.json路径获取。通过 DC/OS 命令行接口部署 Pulsar执行部署命令将PulsarGroups.json下载到本地后在已登录 DC/OS CLI 的环境中执行$ dcos marathon group add PulsarGroups.json该命令会把三组 Docker 容器实例一次性注册到 Marathon 并开始调度部署。执行后在浏览器中访问 DC/OS GUI本示例为http://m1.dcos点击Services标签页即可看到多个应用正在部署中注意由于 DC/OS 已自带 ZooKeepermaster.mesos:2181部署过程中不需要单独安装或启动 ZooKeeper 实例。部署形态与资源来源从部署结果看PulsarGroups.json描述的是典型的Marathon Application Group结构父组pulsar下挂载bookkeeper、brokers、monitory三个子组。这种结构让运维人员可以在 GUI 中按组查看状态、按组启停也可以一条命令完成整组卸载。验证 BookKeeper 组查看 bookie 部署状态在 DC/OS GUI 中点击父组pulsar下的bookkeeper组即可监控 BookKeeper 集群的部署状态此时 3 个 bookie 应显示为绿色表示 bookie 已成功部署并处于运行状态点击每个 bookie 实例可以获取更详细的信息例如 bookie 的运行日志在 ZooKeeper 中确认 BookKeeper由于 Pulsar 复用了 DC/OS 自带的 ZooKeeper可以通过 Exhibitor 查看 BookKeeper 的注册信息。本示例中访问http://m1.dcos/exhibitor可看到 3 个 bookie 位于available目录下BookKeeper 的available目录是各 bookie 上线后的注册位置从实现层面看Pulsar 的存储层由 managed-ledger 模块驱动bookie 通过 ZooKeeper 完成集群成员发现与协调如果你需要调整 bookie 的存储目录、端口或写入吞吐等参数可参考仓库中的 conf/bookkeeper.conf 示例配置。验证 Pulsar Broker 组与 BookKeeper 组类似点击父组下的brokers组可以查看 Pulsar broker 的部署状态点击每个 broker 实例可查看详细信息和运行日志同样可以通过 Exhibitor Web UI 查看 ZooKeeper 中的 broker 集群信息。本示例中可以观察到loadbalance与managed-ledgers两个目录已经被创建——managed-ledgers目录由 Pulsar 的 ManagedLedger 协调器在元数据层建立loadbalance目录则是 broker 负载均衡load balance机制注册与协调的元数据位置Broker 的对外端口、认证、存储策略等运行参数可在 conf/broker.conf 中查看与调整如默认的二进制服务端口 6650 与 Web 服务端口 8080也正是下文教程中pulsar://a1.dcos:6650所对应的服务入口。监控组Prometheus 与 Grafanamonitory组由 Prometheus 和 Grafana 两个实例组成Prometheus点击prom实例可获取 Prometheus 的访问端点本示例中为192.168.65.121:9090打开该端点后可以看到 Prometheus 仪表盘其中http://192.168.65.121:9090/targets页面列出了所有被抓取的 bookie 与 broker 目标Pulsar 的 broker/bookie 原生暴露 Prometheus 格式指标因此这套监控组无需额外 agent 即可采集到集群的核心指标消息速率、存储用量、背压等。Grafana点击grafana实例可获取 Grafana 端点本示例中为192.168.65.121:3000打开该端点即可进入 Grafana 仪表盘后续生产/消费压测期间可以在这里观察实时的集群指标曲线在 DC/OS 上运行简单的消费者与生产者集群部署完成后通过一个 Java 教程工程即可验证 Pulsar 的生产与消费能力。下载并准备 Pulsar Java 教程克隆pulsar-java-tutorial仓库该仓库包含一个简单的 Pulsar 消费者与生产者更多说明见其 README$ git clone pulsar-java-tutorial 仓库地址随后需要修改两处代码修改SERVICE_URL在ConsumerTutorial.java与ProducerTutorial.java中把默认的pulsar://localhost:6650改为pulsar://a1.dcos:6650。pulsar://a1.dcos:6650是 broker 服务端点a1.dcos是运行了 broker 的 DC/OS 客户端 agent其 IP 地址也可以直接替换使用每个 broker 实例的端点详情可从 DC/OS GUI 中获取。调整消息数量将ProducerTutorial.java的 main 方法中的消息数从 10 改为10000000一千万以便生产者持续产出更多消息供观测。然后编译工程$ mvn clean package运行消费者与生产者先启动消费者$ mvn exec:java -Dexec.mainClasstutorial.ConsumerTutorial再启动生产者$ mvn exec:java -Dexec.mainClasstutorial.ProducerTutorial此时通过 DC/OS GUI 可以看到生产者持续生产消息、消费者持续消费消息查看 Grafana 指标输出在生产者和消费者运行期间回到 Grafana 即可查看实时运行的指标信息卸载 Pulsar在任意时刻可以通过以下两种方式之一关闭并卸载 DC/OS 上的pulsar应用使用 DC/OS GUI在 Pulsar 组右侧选择Delete使用命令行$ dcos marathon group remove /pulsar该命令会移除整个pulsar应用组及其下所有子组实例实现集群的快速整体回收。进阶提示镜像选型与配置调整使用pulsar-all镜像启用全部内置连接器官方文档特别提示如果希望在 Pulsar 部署中启用全部内置 Pulsar IO 连接器应选择apachepulsar/pulsar-all镜像而非默认的apachepulsar/pulsar镜像——pulsar-all镜像已预先打包 所有内置连接器。从仓库中的镜像构建定义可以印证这一点docker/pulsar/Dockerfile 负责构建基础镜像内置解压 Pulsar 发行包、补齐/pulsar/conf|data|download|logs等目录权限并安装运行期依赖而 docker/pulsar-all/Dockerfile 在apachepulsar/pulsar:latest之上继续叠加内容COPY --frompulsar-all /connectors /pulsar/connectors COPY --frompulsar-all /offloaders /pulsar/offloaders即pulsar-all额外拷贝了连接器目录/connectors来源于构建参数PULSAR_IO_DIR与分层存储 offloader/offloaders。因此如果计划在 DC/OS 集群上使用 Pulsar IO 的各类 source/sink 连接器请将PulsarGroups.json中的镜像替换为apachepulsar/pulsar-all。按集群资源调整PulsarGroups.json前置条件中给出的“每节点 4 CPU / 4 GB 内存 / 60 GB 磁盘”是官方默认值。如果 DC/OS 集群节点规格不同可在PulsarGroups.json中修改对应的cpus、mem、disk字段如需扩展吞吐能力也可以调整各组的实例副本数如将 bookie 与 broker 扩到更多节点。修改后重新执行dcos marathon group add PulsarGroups.json或先移除再添加即可生效。赞分享消息队列后端流处理【免费下载链接】pulsarApache Pulsar - distributed pub-sub messaging system项目地址https://gitcode.com/gh_mirrors/pulsar28/pulsar点击查看免费下载相关推荐Apache Pulsar 在 DC/OS 上部署实战基于 Marathon 应用组的完整指南Apache Pulsar 在 DC/OS 上部署实战基于 Marathon 应用组的完整指南 Apache Pulsar 官方将整套集群封装为 DC/OS消息队列后端流处理Apache Pulsar on DC/OS 部署全攻略基于 Marathon 应用组的集群搭建、监控与端到端验证Apache Pulsar on DC/OS 部署全攻略基于 Marathon 应用组的集群搭建、监控与端到端验证 Apache Pulsar 官方提供了一套消息队列后端流处理在 DC/OS 上部署 Apache PulsarMarathon 应用组部署与运维实战在 DC/OS 上部署 Apache PulsarMarathon 应用组部署与运维实战 本篇技术指南基于 Apache Pulsar 官方文档versio消息队列后端流处理上一篇DeepPlant-EAP部署指南3步轻松搭建你的植物基因分析平台下一篇VibeThinker-3B-8bit深度解析从WeiboAI基础模型到MLX格式的完美转换创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考