首页/新闻资讯/正文详情

Redis 布隆过滤器——从原理到 Spring Boot 整合,防重复消费一把梭

发布时间:2026/11/22 3:37:03 来源:云帆数科 栏目:资讯中心
Redis 布隆过滤器——从原理到 Spring Boot 整合,防重复消费一把梭
Redis 布隆过滤器——从原理到 Spring Boot 整合防重复消费一把梭用户是否已经点赞过这篇笔记直接查 Redis Set——一个 key 存几千个 noteId一百万用户点赞就是一百万条记录几 GB 内存。布隆过滤器用几百 KB 就能存上百万条是否存在的记录判断一条不存在一定准确判断一条存在可能误判——这个特性恰好就是消息去重、缓存穿透保护的最优解。这篇文章从布隆过滤器的位图原理讲起到 Docker 安装 RedisBloom 模块、基本命令、Spring Boot Lua 脚本整合用真实代码串下来。布隆过滤器是什么——先忘掉 Redis看一张位图布隆过滤器的底层就是一张很长的二进制位数组BitArray初始全是 0。位数组初始全 000000000...往里面添加一个元素时布隆过滤器用 N 个哈希函数算出 N 个位置把这 N 个位置都置为 1。添加 noteId888 hash1(888) → 位置 2 hash2(888) → 位置 5 hash3(888) → 位置 7 位数组变为 [0, 0, 1, 0, 0, 1, 0, 1, ...] ↑ ↑ ↑ 添加 noteId666 hash1(666) → 位置 1 hash2(666) → 位置 5 hash3(666) → 位置 6 位数组变为 [0, 1, 1, 0, 0, 1, 1, 1, ...] ↑ ↑ ↑ ↑ ↑判断一个元素是否存在用同样的 N 个哈希函数算出 N 个位置看是不是全为 1。全为 1 →可能存在这几个位置可能是被其他元素置为 1 的恰好重合了有一个不是 1 →一定不存在如果添加过这个位置肯定被置为 1 了核心结论说不存在一定准确说存在可能是误判。误判率由位数组长度和哈希函数数量决定RedisBloom 默认误判率 1%。为什么用它——跟 Set 比内存跟 DB 比速度场景判断用户是否已经点赞过这篇笔记。方案100 万条记录占多少内存查一次多快MySQL 查表几十 MB 索引数 msRedis SetSISMEMBER几十 MB不到 1ms布隆过滤器BF.EXISTS几百 KB不到 1ms布隆过滤器的空间效率接近极致——一个 key 只用 1.2 MB 就能存 100 万条记录误判率 1%。对消息去重、缓存穿透保护、黑名单过滤这些能接受少量误判的场景再合适不过。代价就是那 1% 的误判。说不存在一定不存在说存在有小概率其实不存在。对点赞去重来说——最多漏掉一个用户其实没点赞但布隆说点过了的情况不会重复对缓存穿透来说——布隆说过滤掉的 key 一定不在 DB 里绝对不会误杀。Docker 安装——三种方案方案一还没装 Redis直接拉带模块的镜像redis/redis-stack-server镜像内置了 RedisBloom、RedisJSON、RediSearch 等常用模块最省事dockerrun-d\--nameredis\-p6379:6379\redis/redis-stack-server:latest启动后BF.ADD就能直接用。方案二已有 Redis 容器换镜像重启数据在 volume 里不会丢换个带模块的镜像就行dockerstop redisdockerrmredisdockerrun-d\--nameredis\-p6379:6379\-vredis-data:/data\redis/redis-stack-server:latest方案三不想换镜像单独挂载 RedisBloom 模块文件RedisBloom | Github如果不想换镜像——比如用的是官方redis:7.2已经有很多配置——可以只把 RedisBloom 的.so文件挂进去然后在redis.conf里加载。# 1. 下载编译好的 redisbloom.so# 从 https://github.com/RedisBloom/RedisBloom/releases 下载对应版本的 .so 文件# 或者直接 wgetwgethttps://github.com/RedisBloom/RedisBloom/releases/download/v2.8.5/redisbloom.Linux-x86_64-v2.8.5.zipunzipredisbloom.Linux-x86_64-v2.8.5.zip# 2. 修改 redis.conf加一行# loadmodule /usr/local/etc/redis/redisbloom.soecholoadmodule /usr/local/etc/redis/redisbloom.so./redis.conf# 3. 把模块文件和 redis.conf 一起挂进容器dockerrun-d\--nameredis\-p6379:6379\-v./redisbloom.so:/usr/local/etc/redis/redisbloom.so\-v./redis.conf:/usr/local/etc/redis/redis.conf\redis:7.2 redis-server /usr/local/etc/redis/redis.conf三项配齐redis.conf里配了loadmodule、.so文件挂进去了、容器启动时指定了自定义配置文件。从 Redis8 开始就内置在 Redis 了就不用单独配置了。基本命令连进去dockerexec-itredis-bloom redis-cli创建一个布隆过滤器# BF.RESERVE key error_rate capacity# 误判率 0.011%预计存 100000 条BF.RESERVE user:like:100010.01100000如果不调用RESERVE直接ADDRedisBloom 会帮你自动创建一个默认参数的过滤器。添加和查询# 添加一个元素——返回 1新元素或 0已存在BF.ADD user:like:10001888# (integer) 1# 再添加同样的——返回 0说明已存在BF.ADD user:like:10001888# (integer) 0# 判断是否存在——返回 1可能存在或 0一定不存在BF.EXISTS user:like:10001888# (integer) 1BF.EXISTS user:like:10001999# (integer) 0批量操作# 批量添加BF.MADD user:like:10001111222333# 1) (integer) 1# 2) (integer) 1# 3) (integer) 1# 批量判断BF.MEXISTS user:like:10001111888999# 1) (integer) 1# 2) (integer) 1# 3) (integer) 0查看信息BF.INFO user:like:10001# Size: 131072 ← 位数组大小# Number of items inserted: 5布隆过滤器不能删除BF.ADD之后没有BF.DEL。因为一个位置可能被多个元素共用——删掉会误伤别的元素。RedisBloom 从 2.4 版本开始支持BF.INSERT做一些删除操作但复杂度高日常不推荐。如果需要能删除的过滤器用CF.ADD/CF.DEL——Cuckoo Filter这是另一个话题了。Spring Boot 整合——用 Lua 脚本操作布隆过滤器Spring Data Redis 没有直接提供BFOps方法操作布隆过滤器要借助 Lua 脚本。把BF.EXISTS和BF.ADD的逻辑写进 .lua 文件Java 端用DefaultRedisScript加载执行。场景判断用户是否已经点赞过某篇笔记-- resources/lua/bloom_note_like_check.lualocalkeyKEYS[1]-- bloom:user:like:{userId}localnoteIdARGV[1]-- 笔记 ID-- 布隆过滤器不存在 → 返回 -1ifredis.call(EXISTS,key)0thenreturn-1end-- 判断是否已点赞localisLikedredis.call(BF.EXISTS,key,noteId)ifisLiked1thenreturn1-- 已经点赞了end-- 未点赞添加进去redis.call(BF.ADD,key,noteId)return0-- 点赞成功之前没点过// Java 端执行DefaultRedisScriptLongscriptnewDefaultRedisScript();script.setScriptSource(newResourceScriptSource(newClassPathResource(/lua/bloom_note_like_check.lua)));script.setResultType(Long.class);StringbloomKeyRedisKeyConstants.buildBloomUserNoteLikeListKey(userId);LongresultredisTemplate.execute(script,Collections.singletonList(bloomKey),noteId);// 返回值1已点赞0点赞成功-1布隆过滤器不存在三种返回值对应三种情况定义枚举GetterAllArgsConstructorpublicenumBloomCheckResultEnum{ALREADY_EXISTS(1,已存在),NOT_EXIST(0,不存在已添加),FILTER_NOT_EXIST(-1,布隆过滤器不存在);}场景消息去重——防止重复消费-- 先建布隆过滤器如果不存在再判断localkeyKEYS[1]-- bloom:user:note:publish:20260710localuserIdARGV[1]-- 发布者 IDifredis.call(EXISTS,key)0thenredis.call(BF.ADD,key,)redis.call(EXPIRE,key,20*60*60)-- 当天有效endreturnredis.call(BF.EXISTS,key,userId)-- 返回 1已处理过 → 跳过-- 返回 0没处理过 → 可以处理Java 端配合落库使用布隆返回 0 → 落库 → 再调一次BF.ADD标记为已处理。万一布隆误判了说已存在但其实不存在最坏情况就是少处理一条——不会出现重复落库。布隆过滤器的两个不能1. 不能删除元素。一个 bit 可能被多个元素共用删掉就误伤了。要支持删除用 Cuckoo Filter。2. 不能遍历所有元素。布隆过滤器的底层是位数组没有存元素本身只存了存在与否的痕迹。你想列出所有被添加过的 noteId——做不到。它只回答这个 ID 存不存在不回答存过哪些 ID。什么时候用、什么时候不用该用防缓存穿透——请求过来先过布隆布隆说不存在的 key 一定不在 DB 里直接返回空不用查 DB消息去重——MQ 重复消费时布隆判断是否处理过黑名单——判断用户/ IP 是否在名单里点赞/关注去重——判断是否已经操作过不该用不能接受误判——比如支付回调去重漏一笔就是钱的问题需要删除元素——布隆删不了需要列出所有元素——布隆不存原始数据需要精确判断——直接用 Set

相关推荐

改进YOLOv11在芦笋智能分拣中的应用与优化
改进YOLOv11在芦笋智能分拣中的应用与优化

1. 项目背景与核心价值芦笋作为高附加值农产品,采后分级是影响其商品价值的关键环节。传统人工分拣存在效率低、标准不统一等问题,梁嘉平团队提出的基于改进YOLOv11的检测方法,为智慧农业中的农产品品质管控提供了创新解决方案。这项研究将计… · 2026/11/19 16:27:54

Cursor + i18n.js + Lingui 集成方案,手把手搭建支持23种语言的AI编程环境
Cursor + i18n.js + Lingui 集成方案,手把手搭建支持23种语言的AI编程环境

更多请点击: https://intelliparadigm.com 第一章:Cursor国际化多语言集成方案全景概览 Cursor 作为基于 AI 的智能编程编辑器,其国际化(i18n)能力并非内置默认特性,而是依赖开发者通过插件、配置文件与语… · 2026/11/20 7:09:01

电商企业如何选适配的AI数字人直播厂商?2026年深度评测给出清晰选型路径
电商企业如何选适配的AI数字人直播厂商?2026年深度评测给出清晰选型路径

2026年国内AI数字人市场规模预计达102.4亿元,直播场景渗透率在18个月内从12%攀升至37%。市场快速膨胀的同时,厂商数量已超1500家,真正能用的却屈指可数。功能堆砌但不好用、收费不透明、克隆效果差——这些问题让不少电商企业花了钱却踩了坑。… · 2026/11/20 3:44:00

电工证上会显示学历么郑州报考避坑指南
电工证上会显示学历么郑州报考避坑指南

电工证上会显示学历么郑州报考避坑指南 你是不是也担心,学历不高怕报不上名?其实, 电工证上并不会显示学历信息 ,这是很多人都容易误解的地方。很多人以为报考电工证需要很高的学历门槛,或者担心学历低会被拒之门外,但根据《特种作业人员安全技术培训… · 2026/11/22 3:36:45

黑河低压电工证真证怎么通过官方报名入口报名
黑河低压电工证真证怎么通过官方报名入口报名

黑河低压电工证真证怎么通过官方报名入口报名 你是不是也在为 黑河低压电工证真证 怎么报名发愁?生怕一不小心就被中介坑了,花冤枉钱还拿不到证?别担心,下面我从报名流程到备考技巧,全部给你讲明白。 你有没有遇到这些情况? 1.… · 2026/11/22 3:36:45

南网高压电工证用途与2026河南最新政策全解析
南网高压电工证用途与2026河南最新政策全解析

南网高压电工证用途与2026河南最新政策全解析 你是不是也遇到过这种情况:不知道去哪报名、怕被中介坑、担心证书不靠谱,搞不好还白花钱?特别是像新乡这样的公路工程从业者,面对2026河南最新政策的变动,更需要搞清楚【南网高压电工证用途】到底能… · 2026/11/22 3:36:45

特种架子工考试成绩怎么查?多少钱?找工作必备
特种架子工考试成绩怎么查?多少钱?找工作必备

特种架子工考试成绩怎么查?多少钱?找工作必备 你是不是正在为特种架子工证发愁?特种作业证是很多岗位的“入场券”,尤其是在建筑施工、公路工程等高风险行业中, 特种架子工考试成绩… · 2026/11/22 3:36:45

哪一种电工证不要年审怎么网上查询
哪一种电工证不要年审怎么网上查询

哪一种电工证不要年审怎么网上查询 之前考的证在外省能不能转过来?我猜你一定也在为这个问题烦心。别急,今天就带你搞清楚 哪一种电工证不要年审 ,还有怎么通过 网上查询 确认自己的证书状态,确保不掉链子。 电工证种类与年审要求… · 2026/11/22 3:36:45

南通哪里考高压电工证怎么选?考前押题怎么用才能稳过
南通哪里考高压电工证怎么选?考前押题怎么用才能稳过

南通哪里考高压电工证怎么选?考前押题怎么用才能稳过 你还在为找不到合适的高压电工证培训渠道发愁?别再等了,现在不考证,明天就可能被拒之门外。特别是在南通,越来越多的岗位要求必须持有高压电工证才能上岗, 考前押题… · 2026/11/22 3:35:44

平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定
平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定

平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定 你是不是也经常在网上看到“平价的电工证查询”这样的关键词,但又不知道去哪报名,怕被中介坑?特别是像你这样的平顶山学员,既想考个正规电工证,又怕花冤枉钱走弯路。别担心,这篇保姆级教程就是… · 2026/11/22 0:00:42

麻阳考电工证在哪里考内部消息你知道吗
麻阳考电工证在哪里考内部消息你知道吗

麻阳考电工证在哪里考内部消息你知道吗 不知道去哪报名怕被中介坑, 内部消息 告诉你,麻阳考电工证不一定要去外地,本地其实也有正规渠道,但很多人因为不了解流程和资质,反而被坑了钱还考不到证。今天我就从一个干了这么多年特种作业培训的“老江湖”角… · 2026/11/22 0:00:43

揭阳普宁电工证换证怎么操作?良心建议帮你理清流程
揭阳普宁电工证换证怎么操作?良心建议帮你理清流程

揭阳普宁电工证换证怎么操作?良心建议帮你理清流程 之前考的证在外省能不能转过来?这是很多已经在外地工作、现在想回揭阳普宁发展的电工朋友最关心的问题。如果你也是其中之一,那这篇文章就是为你们量身定制的,从换证流程到避坑建议,良心建议全给你讲透… · 2026/11/22 0:00:43

平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定
平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定

平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定 你是不是也经常在网上看到“平价的电工证查询”这样的关键词,但又不知道去哪报名,怕被中介坑?特别是像你这样的平顶山学员,既想考个正规电工证,又怕花冤枉钱走弯路。别担心,这篇保姆级教程就是… · 2026/11/22 0:00:42

麻阳考电工证在哪里考内部消息你知道吗
麻阳考电工证在哪里考内部消息你知道吗

麻阳考电工证在哪里考内部消息你知道吗 不知道去哪报名怕被中介坑, 内部消息 告诉你,麻阳考电工证不一定要去外地,本地其实也有正规渠道,但很多人因为不了解流程和资质,反而被坑了钱还考不到证。今天我就从一个干了这么多年特种作业培训的“老江湖”角… · 2026/11/22 0:00:43

揭阳普宁电工证换证怎么操作?良心建议帮你理清流程
揭阳普宁电工证换证怎么操作?良心建议帮你理清流程

揭阳普宁电工证换证怎么操作?良心建议帮你理清流程 之前考的证在外省能不能转过来?这是很多已经在外地工作、现在想回揭阳普宁发展的电工朋友最关心的问题。如果你也是其中之一,那这篇文章就是为你们量身定制的,从换证流程到避坑建议,良心建议全给你讲透… · 2026/11/22 0:00:43

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:37

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:30

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:32

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码