RabbitMQ 3.10.0 版本深度解读：quorum 队列增强、CQv2 新存储与定义导入优化

RabbitMQ 3.10.0 版本深度解读quorum 队列增强、CQv2 新存储与定义导入优化【免费下载链接】rabbitmq-serverOpen source RabbitMQ: core server and tier 1 (built-in) plugins项目地址: https://gitcode.com/gh_mirrors/ra/rabbitmq-serverRabbitMQ 3.10.0 是 3.10 系列的首个版本围绕效率提升这一主线对 quorum 队列与经典队列classic queues进行了大规模优化并首次引入 Erlang 25 支持。本文以官方发布说明release-notes/3.10.0.md为骨架结合本仓库源码深入讲解 quorum 队列的 TTL、双死信策略、重排队行为变更CQv2 新存储的启用方式定义导入跳过机制以及 MQTT、OAuth 2、Management、Shovel 等插件在 3.10.0 中的关键变化。读者将掌握该版本的功能全貌、升级注意事项与关键配置实操。一、版本亮点总览3.10.0 的核心主题是效率efficiency主要改进集中在 quorum 队列和经典队列两条队列产品线上quorum 队列降低每队列内存占用、减少 GC 压力新增消息 TTL、at-most-once 与 at-least-once 两种死信dead-lettering策略、更安全的 re-queue 行为并可作为新建集群中 MQTT 持久订阅durable subscriptions的后端队列。经典队列引入全新的消息存储与队列索引实现CQv2Classic Queue v2消费者投递更高效默认仍使用 CQv1由运维显式选择开启。定义导入节点重启时若定义来源文件、目录或 HTTPS 拉取的文件未变化可跳过重新导入队列与交换器重导入在部分环境下提速超过两个数量级。OAuth 2 插件新增 scope 别名映射可将非标准或别名 scope 映射为一组 RabbitMQ 权限。Erlang 25 支持3.10.0 是首个支持 Erlang 25 的版本包含对 64 位 ARM 处理器的 JIT 支持。二、获取方式与 Erlang/OTP 兼容性RabbitMQ 官方通过 GitHub Releases、Cloudsmith 与 PackageCloud 分发发行包。Erlang/OTP 兼容性方面本版本要求Erlang 23.2 或更高版本官方推荐Erlang 24因其对许多负载可带来 20%–50% 的吞吐提升。升级到 Erlang 24.x 有明确的路径约束RabbitMQ3.8.16及更高版本才要求 Erlang 23.2 并支持 Erlang 24推荐。若当前运行在更老版本上官方建议先升级到最新的3.8.x补丁版本运行于 Erlang 23.2再升级到3.10.0并尽可能使用 Erlang 24。客户端库兼容性兼容3.9.x的客户端库均可直接用于3.10.0无需额外适配。三、升级到 3.10混合版本集群机制3.10.0 节点可以同3.9.x节点并行运行这种混合版本集群专为滚动升级rolling upgrade设计只有当集群内所有节点都升级到 3.10.0或该系列任意补丁版本后3.10.x专属特性才会生效混合版本运行期间部分系统行为可能不符合预期下文兼容性说明中列出的已知行为变化即属此类全部节点升级完成后即恢复正常混合版本集群不适用于长期运行官方限定运行时间不超过数小时。四、核心服务器Core Server增强4.1 quorum 队列内存足迹与 GC 优化3.10.0 显著降低了 quorum 队列的内存占用入队消息会尽快落盘并忽略x-max-in-memory-length与x-max-in-memory-bytes策略键。这一调整既压缩了每队列内存足迹也使得吞吐与延迟更稳定、波动更小。同时通过减少每队列的垃圾回收GC压力进一步改善了大流量下的稳定性。从源码看这两个内存相关键仍作为队列可选参数被声明与校验见 rabbit_amqqueue.erl但在 quorum 队列路径上其内存缓冲语义被新实现覆盖。4.2 经典队列 CQv2新消息存储与队列索引3.10.0 为经典队列引入了新的队列索引与消息存储实现CQv2其目标是让经典队列的内存足迹更均匀且整体更低同时让消费者投递更高效从而在消费者跟得上生产者的负载下提升吞吐。关键点CQv2 默认不启用需运维显式开启官方提供了两种方式方式一通过策略policy按队列名匹配启用rabbitmqctl set_policy cq_version ^cq\. {queue-version: 2} --priority 1 --apply-to queues方式二通过rabbitmq.conf全局设置默认版本classic_queue.default_version 2源码层面queue-version是受监管的策略键在 rabbit_policies.erl 中合法值仅1与2其他值会报 not a valid queue-version value在 rabbit_amqqueue.erl 中x-queue-version可选参数同样只接受值为2的整数否则报 unsupported queue version。也就是说只有 CQv1 与 CQv2 两种版本可供选择且 v2 需要显式指定。4.3 quorum 队列消息 TTLquorum 队列正式支持消息 TTLMessage TTL。策略键message-ttl的取值校验非负整数可在 rabbit_policies.erl 中找到这也同时约束了经典队列与 quorum 队列的 TTL 参数。运维可通过标准策略下发rabbitmqctl set_policy ttl ^qq\. {message-ttl: 60000} --priority 1 --apply-to queues4.4 quorum 队列双死信策略at-most-once 与 at-least-oncequorum 队列新增第二种死信策略at-least-once并保留原有3.9 及经典队列行为的at-most-onceat-most-once死信消息投递最多一次极端情况下可能丢失at-least-once死信消息至少投递一次代价是可能与正常消费重复。用户必须显式选择opt-in才能启用。策略键为dead-letter-strategy其合法值at-most-once/at-least-once的校验逻辑见 rabbit_policies.erl。示例rabbitmqctl set_policy qq_dlx ^qq\. {dead-letter-exchange: dlx, dead-letter-strategy: at-least-once} --priority 1 --apply-to queues4.5 ⚠️ 破坏性变更requeue 消息默认回到队尾3.10.0 调整了 quorum 队列中否定确认并要求重排队nack requeue的行为默认情况下被 requeue 的消息会追加到队列尾部而不是回到原位置仅当队列设置了**重投递上限redelivery limit**时才在可能的情况下恢复到消息原位置。该变更的动机是运维安全如果消费者卡死或以极高频率 requeue消息若始终回到原位置会不断反复重投导致 quorum 队列的 Raft 日志无限增长最终可能耗尽节点磁盘。官方标注此为Breaking change破坏性变更若应用依赖旧行为务必为 quorum 队列设置 redelivery limit。相关策略键delivery-limit、dead-letter-strategy等在 rabbit_policies.erl 中注册了校验与合并策略。4.6 定义导入内容未变化时跳过skip_if_unchanged3.10.0 允许在节点重启时跳过未发生变化的定义导入。其原理是对定义内容计算哈希并与上次存储的哈希比对一致则直接跳过。配置文件示例definitions.skip_if_unchanged true definitions.import_backend local_filesystem definitions.local.path /path/to/definitions/defs.json源码实现位于 rabbit_definitions.erlshould_skip_if_unchanged/0读取rabbit应用环境中的definitions.skip_if_unchanged并且只有当集群达到目标节点数reached_target_cluster_size/0时才生效——这是为了避免在集群成员尚未到齐、延迟队列导入尚未完成的场景下错误跳过。哈希比对逻辑rabbit_definitions.erl支持全局导入与单 vhost 导入两种粒度分别使用stored_global_hash与stored_vhost_specific_hash。可扩展的自定义导入后端definitions.import_backend除了内置的local_filesystem还可以指向自定义模块该模块需实现三个函数is_enabled/0、load/1、load_with_hashing/3。例如definitions.import_backend rabbit_definitions_import_our_custom_backend这为从任意数据源数据库、配置中心等导入定义提供了统一的扩展点。4.7 其他增强镜像队列 eager sync 峰值限速经典镜像队列的 eager 同步吞吐峰值现在可被限制由 thuandb 贡献AWS。可选参数严格校验队列声明时的可选参数optional queue arguments与消费者订阅时的可选消费者参数都会在声明/订阅时被更严格地校验参见 rabbit_amqqueue.erl 中对x-dead-letter-strategy、x-max-in-memory-length、x-queue-version等的逐项检查。Headers 交换新增any-with-x匹配策略AMQP 0-9-1与any行为一致但额外匹配以x-开头的头。vhost 删除期间的竞态防护vhost 删除进行中时不允许再在该 vhost 内创建队列由 tomyouyou 贡献。rabbitmqctl encode/decode可通过标准输入接受更多类型的值。rabbitmq_tracing时间戳改用本地时间。4.8 内部 API 与其他变更移除两个罕用的经典队列指标移除后减少了内部表写入压力使 CQv1 吞吐提升 10%–20%由 felixhuettner 贡献。时间戳格式统一为 RFC 3339tracing 与idle_since时间戳此前使用自定义格式且为 UTC现改为 RFC 3339 格式的本地时间。单队列路由优化当一条消息只路由到单个队列时节点间消息传输路径被专门优化由 tomyouyou 贡献。构建期支持 Elixir 1.13。4.9 Bug 修复本版本包含全部适用于3.9.x系列已发布的 bug 修复另修复的核心问题包括修复未启用 streams 时大扇出large fanouts场景的性能回退修复并发 stream 消费者频繁读到流末尾时stream 投递速率下降的问题修复某些情况下 channel 对 mandatory 发布消息只确认子集的问题修复直接 Erlang 客户端初始化与早期启动步骤之间的竞态避免依赖它的插件打开连接失败独占队列exclusive queues始终放在本地节点独占队列本就与声明它的连接生命周期绑定连接是节点本地的故强制其留在本地节点是正确语义见 rabbit_amqqueue.erl 相关声明逻辑。五、插件更新5.1 Management 插件idle_since字段改用RFC 3339格式这是一个潜在的破坏性变更旧格式如2022-03-22 11:39:37新格式如2022-03-22T11:39:37.90801:00。REST API 的调用方应确保能够解析新格式。修复rabbitmqadmin从配置文件读取 TLS 相关键错误的问题由 fwolfsjaeger 贡献。5.2 MQTT 插件持久订阅改用 quorum 队列3.10.0 允许持久QoS 1订阅由 quorum 队列支撑前提是显式配置。注意该设置只对新建集群生效已有持久经典队列不会被转换在已有 MQTT 客户端持久订阅数据的集群中开启此设置客户端将无法订阅除非运维显式删除旧队列。配置方式mqtt.durable_queue_type quorum源码佐证位于 rabbit_mqtt_processor.erl当 QoS 为 1 且durable_queue_type环境值为quorum时会在队列参数中加入x-queue-type quorum否则沿用默认类型同时结合会话过期时间Session Expiry Interval生成 TTL 参数。5.3 OAuth 2 认证/授权后端插件Scope 别名scope aliases在实际环境中身份服务未必遵循插件假设的scope约定而可能把角色名/角色别名填入scope或claims字段。3.10.0 允许运维将这些值映射为一组可翻译成 RabbitMQ 权限的 scope。JWK 支持改进与新的 HTTPS 设置由 Erlang Solutions 的 anhanhnguyen 贡献。5.4 Shovel 插件增强动态 Shovel 现在可以从集群中任意节点删除或重启由 kostakal 贡献。修复自动删除阈值为0的 Shovel 现在会被正确立即删除由 Erlang Solutions 的 luos 贡献。5.5 Prometheus 与 Consul Peer Discovery 插件Prometheus 采集器在节点 schema 数据库同步早期可能抛异常的 bug 已修复。Consul Peer Discovery 插件适配了 Consul 1.11 的响应码变更由 maestroes 贡献。六、依赖升级一览3.10.0 升级了多个底层依赖直接影响 quorum 队列ra、streamosiris、网络层ranch、指标prometheus与运维工具链依赖升级前升级后raRaft 实现quorum 队列核心2.0.02.0.9osirisstream 核心1.0.01.2.6ranchTCP 连接池2.0.02.1.0prometheus4.8.14.8.2eetcd0.3.30.3.5observer_cli1.6.21.7.3gen_batch_server0.8.60.8.7其中ra与osiris的升级是 quorum 队列与 stream 各项新特性TTL、双死信策略、重排队变更等得以落地的底层基础。七、总结与升级建议RabbitMQ 3.10.0 是一次效率优先的大版本quorum 队列在内存、GC、死信与重排队语义上全面进化经典队列迎来了可选的 CQv2 新存储定义导入支持哈希跳过与自定义后端。升级到 3.10.0 时请特别关注以下三点Erlang 版本确保 Erlang ≥ 23.2优先使用 Erlang 24requeue 行为变更若业务依赖 quorum 队列回到原位置的重排队语义请预先设置 redelivery limitMQTT 持久订阅mqtt.durable_queue_type quorum只适用于新建集群老集群启用前需规划队列清理。相关发布说明与变更历史可在本仓库的 release-notes 目录中查阅3.10 系列的后续补丁版本说明均以本文件为基础演化。【免费下载链接】rabbitmq-serverOpen source RabbitMQ: core server and tier 1 (built-in) plugins项目地址: https://gitcode.com/gh_mirrors/ra/rabbitmq-server创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考