Mybatis批量插入性能优化与实现方式对比

1. Mybatis批量插入的四种实现方式对比在数据量较大的业务场景中单条插入的效率往往难以满足性能需求。以60万条数据测试为例循环单条插入耗时约1272秒而批量插入仅需28秒性能差距高达45倍。这种量级差异在真实生产环境中会更加明显因此掌握Mybatis的批量插入技术对开发者而言至关重要。1.1 循环单条插入的致命缺陷最直观的实现方式是遍历集合循环调用单条插入public void insert(ListUser userList) { userList.forEach(user - userDao.insert(user)); }对应的Mapper XML配置insert idinsert INSERT INTO user (username, address, remark, age, create_time) VALUES (#{user.username}, #{user.address}, #{user.remark}, #{user.age}, now()) /insert这种方式的性能瓶颈主要体现在三个方面每次插入都需要建立新的数据库连接除非使用连接池每条SQL语句都需要单独编译和执行频繁的IO操作导致网络延迟累积实际测试中插入60万条数据耗时约21分钟这在生产环境是完全不可接受的。但它的优势在于实现简单适合数据量极小100条或对性能不敏感的场景。1.2 动态SQL批量插入方案Mybatis的foreach标签可以实现真正的批量SQLpublic void insertBatch(ListUser userList) { // 每100条为一组分批处理 ListListUser partition ListUtil.partition(userList, 100); partition.forEach(users - userDao.insertBatch(users)); }Mapper配置关键点insert idinsertBatch INSERT INTO user (username, address, remark, age, create_time) VALUES foreach collectionusers itemuser separator, (#{user.username}, #{user.address}, #{user.remark}, #{user.age}, now()) /foreach /insert这里有几个实践经验值得注意批量大小建议设置在50-200之间过大可能导致SQL过长被数据库拒绝MySQL的max_allowed_packet参数需要相应调整默认4MB字段建议显式指定jdbcType避免类型推断错误测试显示60万条数据插入仅需28秒但要注意这种方案会生成超长SQL可能引发内存问题。2. 基于BatchExecutor的批处理模式2.1 Mybatis执行器原理剖析Mybatis内置三种执行器SimpleExecutor默认模式每执行完就关闭StatementReuseExecutor复用预处理语句减少编译开销BatchExecutor批量模式延迟执行直到显式提交启用BatchExecutor的典型配置SqlSession sqlSession sqlSessionFactory.openSession(ExecutorType.BATCH); try { UserDao mapper sqlSession.getMapper(UserDao.class); for (User user : userList) { mapper.insert(user); // 这里只是addBatch不会立即执行 } sqlSession.commit(); // 真正触发executeBatch } finally { sqlSession.close(); }2.2 性能对比与适用场景测试数据显示BatchExecutor模式耗时28.1秒与动态SQL方案相当。但两者有本质区别特性动态SQLBatchExecutorSQL生成方式拼接超长SQL参数化批处理内存占用高低数据库兼容性依赖数据库批量语法支持通用性更好事务控制单语句事务可跨多语句批量提交预处理语句复用无有提示Oracle数据库对超长SQL有严格限制约4000字符此时BatchExecutor是更安全的选择3. 原生JDBC批处理实现3.1 底层API的直接调用当需要极致性能时可以绕过Mybatis直接使用JDBCpublic void insertJdbc(ListUser userList) throws SQLException { Connection conn dataSource.getConnection(); conn.setAutoCommit(false); // 关键步骤1关闭自动提交 PreparedStatement ps conn.prepareStatement( INSERT INTO user (username, address, remark, age, create_time) VALUES (?,?,?,?,now())); for (User user : userList) { ps.setString(1, user.getUsername()); ps.setString(2, user.getAddress()); ps.setString(3, user.getRemark()); ps.setInt(4, user.getAge()); ps.addBatch(); // 关键步骤2加入批处理 if(i % 1000 0) { ps.executeBatch(); // 关键步骤3分段提交 conn.commit(); } } ps.executeBatch(); conn.commit(); // 关键步骤4最终提交 }3.2 性能优化关键点批处理大小每1000-5000条执行一次executeBatch()事务控制批量提交而非单条提交连接池配置使用高性能连接池如HikariCP重试机制对批量失败实现分段重试测试结果显示JDBC方案仅需16秒比Mybatis方案快42%。但这种优化需要以代码复杂度为代价。4. 生产环境实战建议4.1 批量插入的通用优化策略连接池配置# Spring Boot配置示例 spring: datasource: hikari: maximum-pool-size: 20 connection-timeout: 30000 max-lifetime: 1800000MySQL服务端优化-- 增大允许的数据包大小 SET GLOBAL max_allowed_packet1073741824; -- 关闭binlog可提升批量插入速度主从复制环境慎用 SET sql_log_bin 0;批处理大小经验值MySQL500-1000条/批Oracle100-200条/批PostgreSQL1000-2000条/批4.2 异常处理与事务回滚批量操作必须考虑失败场景try { // 批量操作逻辑 } catch (Exception e) { TransactionAspectSupport.currentTransactionStatus().setRollbackOnly(); // 记录失败位置实现断点续传 log.error(Batch failed at index {}, currentIndex, e); throw new BatchOperationException(批量操作失败, e); }4.3 新型ORM框架的替代方案对于新项目可以考虑MyBatis-Plus的saveBatch方法userService.saveBatch(userList, 1000); // 每1000条提交一次Spring Data JPA的批量支持Transactional public void batchInsert(ListUser users) { userRepository.saveAll(users); }JOOQ的批量操作APIdsl.batchInsert(users).execute();这些方案底层仍基于JDBC批处理但提供了更简洁的API。实际选择时需要权衡团队熟悉度和框架特性。