分布式系统中MySQL与Redis双写一致性解决方案

1. 双写一致性问题背景与挑战在分布式系统架构中MySQL作为持久化存储层Redis作为缓存层的组合已经成为行业标配。这种架构下最棘手的场景之一就是当数据需要同时写入这两个存储系统时如何保证它们的数据一致性。我经历过多次生产环境事故都是由于双写不一致导致的业务逻辑错误。举个真实案例某电商平台的库存管理系统商品详情页显示库存100件用户下单时系统提示库存不足。排查发现Redis缓存显示库存100但MySQL实际库存已降至5件。这种幽灵库存问题就是典型的双写不一致后果。2. 常见解决方案对比分析2.1 先更新数据库再删除缓存Cache Aside Pattern这是最常用的模式我们的订单系统就采用这种方案public void updateProduct(Product product) { // 1. 更新数据库 productDao.update(product); // 2. 删除缓存 redisTemplate.delete(product: product.getId()); }潜在问题步骤2失败会导致缓存脏数据并发场景下可能出现短暂不一致优化方案Transactional public void updateProductWithRetry(Product product) { try { productDao.update(product); redisTemplate.delete(product: product.getId()); } catch (Exception e) { // 加入重试机制 retryTemplate.execute(ctx - { redisTemplate.delete(product: product.getId()); return null; }); } }2.2 双写模式Write Through我们的支付系统采用这种强一致性方案public void processPayment(Payment payment) { // 1. 开启事务 TransactionStatus status transactionManager.getTransaction(new DefaultTransactionDefinition()); try { // 2. 写MySQL paymentDao.create(payment); // 3. 写Redis redisTemplate.opsForValue().set( payment: payment.getId(), payment, Duration.ofMinutes(30) ); // 4. 提交事务 transactionManager.commit(status); } catch (Exception e) { transactionManager.rollback(status); throw new RuntimeException(支付处理失败, e); } }性能影响事务持续时间增加约40%QPS下降约25%3. 延时双删策略实践对于秒杀系统这类高并发场景我们采用改进版的延时双删public void seckillProduct(Long productId) { // 第一次删除 redisTemplate.delete(product: productId); // 更新数据库 seckillDao.reduceStock(productId); // 异步延时删除 CompletableFuture.runAsync(() - { try { Thread.sleep(1000); // 延时1秒 redisTemplate.delete(product: productId); } catch (InterruptedException e) { Thread.currentThread().interrupt(); } }); }关键参数选择延时时间通常1-2秒需要根据业务QPS调整线程池配置Bean public Executor asyncTaskExecutor() { ThreadPoolTaskExecutor executor new ThreadPoolTaskExecutor(); executor.setCorePoolSize(20); executor.setMaxPoolSize(100); executor.setQueueCapacity(500); executor.setThreadNamePrefix(Async-Del-); executor.initialize(); return executor; }4. 一致性监控与补偿机制4.1 监控方案设计我们在关键业务表添加数据版本号ALTER TABLE products ADD COLUMN data_version BIGINT DEFAULT 1;然后通过定时任务对比数据Scheduled(fixedRate 300000) public void checkConsistency() { ListProduct dbProducts productDao.findAll(); dbProducts.forEach(product - { String cacheKey product: product.getId(); Product cacheProduct (Product)redisTemplate.opsForValue().get(cacheKey); if (cacheProduct ! null !cacheProduct.getDataVersion().equals(product.getDataVersion())) { // 记录不一致事件 inconsistencyService.recordInconsistency(product.getId()); // 修复缓存 redisTemplate.opsForValue().set( cacheKey, product, Duration.ofHours(1) ); } }); }4.2 补偿策略我们开发了补偿服务来处理不一致Service public class DataConsistencyService { Autowired private RedisTemplateString, Object redisTemplate; Autowired private ProductDao productDao; Retryable(maxAttempts 3, backoff Backoff(delay 1000)) public void repairProductCache(Long productId) { Product product productDao.findById(productId); if (product ! null) { redisTemplate.opsForValue().set( product: productId, product, Duration.ofHours(1) ); } } }5. 实战经验与避坑指南超时设置陷阱Redis操作必须设置合理的超时redisTemplate.setDefaultTimeout(3000); // 3秒序列化问题确保MySQL和Redis使用相同的序列化方式redisTemplate.setValueSerializer(new Jackson2JsonRedisSerializer(Product.class));热点key处理对高频访问key采用分片策略String cacheKey product: productId : (productId % 10);事务陷阱Redis事务与MySQL事务的差异// 错误用法 redisTemplate.multi(); redisTemplate.delete(key1); productDao.update(product); // 这里抛异常会导致redis事务执行但MySQL回滚 redisTemplate.exec();缓存穿透防护对空结果也进行缓存Product product productDao.findById(id); if (product null) { redisTemplate.opsForValue().set( product: id, new NullValue(), Duration.ofMinutes(5) ); }6. 高级场景解决方案6.1 分布式锁实现使用Redisson实现强一致性public void updateWithLock(Product product) { RLock lock redissonClient.getLock(lock:product: product.getId()); try { lock.lock(3, TimeUnit.SECONDS); // 查询最新数据 Product latest productDao.findById(product.getId()); // 业务处理 latest.setStock(latest.getStock() - 1); // 更新数据库 productDao.update(latest); // 更新缓存 redisTemplate.opsForValue().set( product: latest.getId(), latest, Duration.ofHours(1) ); } finally { lock.unlock(); } }6.2 基于binlog的最终一致性使用Canal监听MySQL binlogCanalEventListener public class ProductUpdateListener { Autowired private RedisTemplateString, Object redisTemplate; UpdateListenPoint public void onUpdate(Product product) { redisTemplate.opsForValue().set( product: product.getId(), product, Duration.ofHours(1) ); } }6.3 多级缓存策略public Product getProduct(Long id) { // 1. 检查本地缓存 Product product localCache.get(id); if (product ! null) { return product; } // 2. 检查Redis product (Product)redisTemplate.opsForValue().get(product: id); if (product ! null) { localCache.put(id, product); return product; } // 3. 查询数据库 product productDao.findById(id); if (product ! null) { redisTemplate.opsForValue().set( product: id, product, Duration.ofMinutes(30) ); localCache.put(id, product); } return product; }7. 性能优化指标我们在生产环境测得不同方案的性能对比方案平均耗时(ms)吞吐量(QPS)一致性级别先更新DB后删缓存451200最终一致性同步双写120450强一致性延时双删60900准实时一致性基于binlog--最终一致性(1-2s)8. 选型建议根据业务场景选择合适方案电商核心交易同步双写分布式锁商品详情页延时双删本地缓存用户画像数据基于binlog的最终一致性秒杀库存Redis原子操作异步扣减// 秒杀库存方案示例 public boolean seckill(Long productId) { String key seckill:stock: productId; Long value redisTemplate.opsForValue().increment(key, -1); if (value 0) { // 异步记录库存变更 mqTemplate.send(seckill-stock-update, new StockUpdate(productId, -1)); return true; } else { // 库存不足恢复 redisTemplate.opsForValue().increment(key, 1); return false; } }