首页/新闻资讯/正文详情

从开发到生产:online_migrations环境配置与部署策略全解析

发布时间:2026/11/16 11:54:05 来源:云帆数科 栏目:资讯中心
从开发到生产:online_migrations环境配置与部署策略全解析
从开发到生产online_migrations环境配置与部署策略全解析【免费下载链接】online_migrationsCatch unsafe PostgreSQL migrations in development and run them easier in production (code helpers for table/column renaming, changing column type, adding columns with default, background migrations, etc).项目地址: https://gitcode.com/gh_mirrors/on/online_migrationsonline_migrations是一款强大的PostgreSQL迁移工具能够在开发阶段捕获不安全的迁移操作并简化生产环境中的部署流程。它提供了表/列重命名、列类型变更、带默认值列添加以及后台迁移等实用功能是Ruby on Rails项目数据库迁移的理想选择。快速入门安装与基础配置一键安装步骤要开始使用online_migrations首先需要将其添加到你的Gemfile中gem online_migrations然后运行bundle install安装gem。安装完成后执行以下命令生成必要的迁移文件$ bin/rails generate online_migrations:install这个命令会创建初始化文件和数据库表为后续的迁移操作做好准备。基础配置指南online_migrations的所有配置都集中在initializer文件中。创建config/initializers/online_migrations.rb文件并添加基本配置# config/initializers/online_migrations.rb OnlineMigrations.configure do |config| # 设置迁移超时时间 config.statement_timeout 1.hour # 配置锁超时重试策略 config.lock_retrier OnlineMigrations::ExponentialLockRetrier.new( attempts: 30, base_delay: 0.01.seconds, max_delay: 1.minute ) # 标记小型表对这些表的操作会跳过某些安全检查 config.small_tables [:settings, :prices, :plans] end这个基础配置已经可以满足大多数项目的需求接下来我们将深入探讨更高级的配置选项。开发环境配置安全检查与自定义规则安全检查机制online_migrations在开发环境中默认启用了一系列安全检查防止不安全的数据库操作。这些检查包括禁止在生产环境可能导致锁表的操作检测可能导致性能问题的索引添加防止删除重要列或表你可以在配置文件中禁用特定的检查# 禁用删除索引的检查 config.disable_check(:remove_index)完整的检查列表可以在lib/online_migrations/error_messages.rb中找到。自定义检查规则除了内置检查你还可以添加自定义检查规则。例如限制对users表添加新列config.add_check do |method, args| if method :add_column args[0].to_s users stop!(No more columns on the users table) end end使用stop!方法可以阻止不安全的迁移操作并显示自定义错误消息。开发环境特殊配置为了使开发环境更接近生产环境你可以指定目标数据库版本# 模拟生产环境的PostgreSQL 12 config.target_version 12这确保了开发环境中运行的检查与生产环境保持一致。生产环境配置性能与安全优化数据库超时设置在生产环境中合理的超时设置至关重要。online_migrations提供了两种设置超时的方式通过配置文件设置# 设置语句超时和锁超时 config.statement_timeout 1.hour config.lock_retrier OnlineMigrations::ExponentialLockRetrier.new( attempts: 30, base_delay: 0.01.seconds, max_delay: 1.minute, lock_timeout: 0.2.seconds )直接在数据库用户上设置ALTER ROLE myuser SET lock_timeout 10s; ALTER ROLE myuser SET statement_timeout 1h;推荐在config/database.yml中添加连接超时设置production: connect_timeout: 5 variables: lock_timeout: 10s statement_timeout: 15s高级锁重试策略对于不同类型的迁移操作可能需要不同的锁重试策略。online_migrations允许你根据命令类型自定义重试行为module OnlineMigrations class CommandAwareLockRetrier LockRetrier def attempts(command nil, arguments []) case command when :add_index 10 # 并发索引创建使用较少的尝试次数 when :add_foreign_key 60 # 外键添加使用更多的尝试次数 else 30 # 默认尝试次数 end end def lock_timeout(attempt, command nil, arguments []) case command when :add_index 30.seconds # 索引创建允许更长的锁超时 when :add_foreign_key 5.seconds # 外键添加快速失败 else 10.seconds # 默认锁超时 end end end end config.lock_retrier OnlineMigrations::CommandAwareLockRetrier.new这种灵活的配置确保了不同类型的迁移操作都能以最佳方式执行。详细SQL日志在生产环境中启用详细SQL日志可以帮助排查迁移问题config.verbose_sql_logs true启用后迁移过程中执行的所有SQL语句都会被记录包括锁超时设置和重试信息。这对于调试复杂的迁移问题非常有帮助。后台数据迁移大规模数据处理什么是后台数据迁移当项目增长到一定规模直接在部署过程中执行大型数据迁移会导致严重的性能问题。background_data_migrations允许你在后台异步处理这些操作避免影响应用性能。适用场景大型表的数据更新需要长时间运行的数据转换从API获取数据并更新到数据库配置后台迁移后台数据迁移需要Sidekiq 7.3.3的支持。首先确保你的Gemfile中包含Sidekiqgem sidekiq, 7.3.3然后配置后台迁移调度器。使用whenever gem可以轻松设置定时任务# config/schedule.rb every 1.minute do runner OnlineMigrations.run_background_data_migrations end创建和使用后台迁移使用生成器创建新的后台数据迁移$ bin/rails generate online_migrations:data_migration backfill_project_issues_count这会创建两个文件数据迁移文件和用于入队的常规迁移文件。编辑数据迁移文件实现业务逻辑# lib/online_migrations/data_migrations/backfill_project_issues_count.rb module OnlineMigrations module DataMigrations class BackfillProjectIssuesCount OnlineMigrations::DataMigration class Project ActiveRecord::Base; end def collection Project.in_batches(of: 100) end def process(relation) relation.update_all(~SQL) issues_count ( SELECT COUNT(*) FROM issues WHERE issues.project_id projects.id ) SQL end def count collection.count end end end end然后在常规迁移中入队后台迁移# db/migrate/xxxxxxxxxxxxxx_enqueue_backfill_project_issues_count.rb class EnqueueBackfillProjectIssuesCount ActiveRecord::Migration[8.0] def up enqueue_background_data_migration(BackfillProjectIssuesCount) end def down remove_background_data_migration(BackfillProjectIssuesCount) end end后台迁移监控后台迁移有多种状态可以通过代码监控其进度migration OnlineMigrations::DataMigrations::Migration.find(id) puts 当前状态: #{migration.status} puts 进度: #{migration.progress}%可用状态包括pending、enqueued、running、paused、errored、failed、succeeded等。你还可以通过回调和通知系统集成监控工具# config/initializers/online_migrations.rb ActiveSupport::Notifications.subscribe(completed.background_data_migrations) do |name, start, finish, id, payload| migration payload[:migration] # 发送完成通知 NotificationService.send(Migration #{migration.name} completed) end部署策略确保平滑迁移迁移前检查清单在部署包含数据库迁移的代码前建议执行以下检查本地测试在开发环境中完整测试迁移查看迁移SQL使用rails db:migrate:sql检查生成的SQL检查索引确保没有添加不必要的索引测试回滚执行rails db:rollback测试回滚功能备份数据在生产环境迁移前备份数据库零停机部署策略online_migrations特别适合实现零停机部署。推荐的部署流程如下部署代码先部署包含迁移的代码但不执行迁移执行迁移通过单独的流程执行迁移验证迁移确认迁移成功完成监控性能部署后监控数据库性能对于大型表的变更使用后台迁移确保生产环境不受影响# 使用预定义的后台迁移 def up add_column :users, :new_column, :string backfill_column_in_background(:users, :new_column, default: default_value) end处理迁移失败即使做了充分准备迁移仍可能失败。online_migrations提供了多种处理失败的机制重试失败的迁移migration OnlineMigrations::DataMigrations::Migration.find(id) migration.retry暂停和恢复迁移# 暂停迁移 migration.pause # 恢复迁移 migration.resume取消迁移migration.cancel此外可以配置错误处理器集成异常监控服务config.background_data_migrations.error_handler -(error, errored_migration) do Bugsnag.notify(error) do |notification| notification.add_metadata(:migration, { name: errored_migration.name }) end end最佳实践与常见问题性能优化技巧分批处理对大型表始终使用分批处理collection_batch_size(1000) # 增大批处理大小利用数据库功能使用数据库内置功能而非Ruby代码处理数据# 推荐 relation.update_all(score points * 2) # 不推荐 relation.each { |record| record.update(score: record.points * 2) }指定目标版本在开发环境中模拟生产数据库版本config.target_version 12.9 # 匹配生产环境版本分析表添加索引后自动更新统计信息config.auto_analyze true常见问题解决Q: 迁移被锁定无法执行怎么办A: 检查是否有长时间运行的事务或查询阻塞了迁移。可以使用以下SQL查找锁定的查询SELECT * FROM pg_locks JOIN pg_stat_activity USING (pid) WHERE NOT granted;Q: 如何处理需要回滚的后台迁移A: 创建反向的后台迁移并在down方法中入队def down enqueue_background_data_migration(ReverseBackfillProjectIssuesCount) endQ: 开发环境和生产环境的迁移行为不一致A: 确保配置了target_version使开发环境模拟生产环境config.target_version { primary: 12, analytics: 14 } # 多数据库配置高级配置示例多数据库配置# 配置后台迁移使用特定数据库 OnlineMigrations::ApplicationRecord.connects_to database: { writing: :animals }按分片并行处理# config/schedule.rb [:shard_one, :shard_two, :shard_three].each do |shard| every 1.minute do runner OnlineMigrations.run_background_data_migrations(shard: :#{shard}) end end自定义数据迁移路径config.background_data_migrations.migrations_path app/data_migrations总结与资源online_migrations为PostgreSQL数据库迁移提供了全面的解决方案从开发阶段的安全检查到生产环境的平滑部署。通过合理配置和使用后台迁移功能可以显著降低数据库变更带来的风险确保应用在数据增长过程中保持高性能和可用性。官方资源配置文档docs/configuring.md后台数据迁移指南docs/background_data_migrations.md后台模式迁移指南docs/background_schema_migrations.md升级指南docs/0.27-upgrade.md通过这些资源你可以深入了解online_migrations的所有功能为你的项目构建安全、高效的数据库迁移流程。无论是小型应用还是大型企业系统online_migrations都能帮助你轻松应对数据库变更的挑战。【免费下载链接】online_migrationsCatch unsafe PostgreSQL migrations in development and run them easier in production (code helpers for table/column renaming, changing column type, adding columns with default, background migrations, etc).项目地址: https://gitcode.com/gh_mirrors/on/online_migrations创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关推荐

Java面试进阶:从八股文到系统设计,构建高效解题思维
Java面试进阶:从八股文到系统设计,构建高效解题思维

最近和几位做技术面试官的朋友聊天,发现一个挺有意思的现象:现在面试一个Java后端岗位,候选人能流畅背出JVM内存模型、Spring循环依赖、MySQL索引原理的比比皆是,但一遇到“如果让你设计一个秒杀系统,你会怎么考虑&… · 2026/9/21 4:30:05

Jenkins 部署实战:从 Java -jar 到 Systemd 服务治理的完整演进
Jenkins 部署实战:从 Java -jar 到 Systemd 服务治理的完整演进

引言:部署 Jenkins 之前在若依项目的治理系列中,我们已经完成了用户体系构建、权限管控、LVM存储规划和日志分析体系——目录有归属了,权限有边界了,日志有可追溯性了。这时候,一个顺理成章的问题浮出水面:… · 2026/9/17 10:35:32

90%的简单任务不该用GPT-5.4:我在Taotoken平台验证的分级路由策略
90%的简单任务不该用GPT-5.4:我在Taotoken平台验证的分级路由策略

大模型API成本优化实战:如何通过分级路由节省42%预算 为什么需要分级路由系统 在当前的AI应用开发中,API调用成本已经成为企业不可忽视的运营支出。根据我们的实践数据,80%的API调用费用实际上消耗在了处理本可以用更经济模型完成的任务上。… · 2026/9/13 2:56:42

上海电工证号查询考前押题怎么准备?别让证书耽误你找工作
上海电工证号查询考前押题怎么准备?别让证书耽误你找工作

上海电工证号查询考前押题怎么准备?别让证书耽误你找工作 你是不是正被“没有电工证就不能上岗”的消息逼得焦头烂额?别急,这篇文章就是为你量身打造的。上海电工证号查询考前押题怎么准备?如何在最短时间内通过考试拿到证?别再瞎折腾了,看完这篇,你就… · 2026/11/16 11:53:38

工地太忙根本没时间复习考试,电工证学校考的值不值得考?
工地太忙根本没时间复习考试,电工证学校考的值不值得考?

工地太忙根本没时间复习考试,电工证学校考的值不值得考? 工地上的活儿一天比一天紧,项目赶工期、人手缺、任务重,连喘口气的时间都没有,谁还有精力去准备电工证考试?尤其是那些在洛阳中小施工企业里忙前忙后的负责人,一边要盯现场,一边还得操心员工的… · 2026/11/16 11:53:38

重庆的低压电工证多久拿证?怕考不过白交培训费的看过来
重庆的低压电工证多久拿证?怕考不过白交培训费的看过来

重庆的低压电工证多久拿证?怕考不过白交培训费的看过来 怕考不过白交培训费?重庆的低压电工证多久拿证?这些问题其实困扰着不少想进入电工行业的朋友,尤其是那些刚入行或者想转行的新人。别担心,今天就带你一步步了解低压电工证的报考流程、考试要点和拿… · 2026/11/16 11:53:38

津南区电工证考取地址官方回应外省证书能否转过来
津南区电工证考取地址官方回应外省证书能否转过来

津南区电工证考取地址官方回应外省证书能否转过来 之前考的证在外省能不能转过来?这是很多电工朋友在考虑考取津南区电工证时最关心的问题。 官方回应… · 2026/11/16 11:53:38

南京电工证在哪报名考试通过率揭秘:考证不迷路,找工作更上路
南京电工证在哪报名考试通过率揭秘:考证不迷路,找工作更上路

南京电工证在哪报名考试通过率揭秘:考证不迷路,找工作更上路 你是不是正为找工作发愁? 急需特种作业证才能上岗找工作 ,但又不知道南京电工证在哪报名考试?别急,今天就给你讲明白,从报名到考试、再到通过率揭秘,全都给你安排上,助你顺利拿到证书,… · 2026/11/16 11:53:38

凤阳县建筑特种工招聘怎么报名,实操考试心里没底怕挂科?
凤阳县建筑特种工招聘怎么报名,实操考试心里没底怕挂科?

凤阳县建筑特种工招聘怎么报名,实操考试心里没底怕挂科? 你是不是也像很多人一样,想报名凤阳县建筑特种工招聘,但对怎么报名、考试流程、实操内容一无所知?更怕实操考试时手忙脚乱,挂科后白白浪费时间和金钱?别急,下面一步步带你了解整个流程,让你心… · 2026/11/16 11:52:38

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/16 3:21:55

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/16 3:01:18

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/16 8:30:17

电工证培训的通知在哪考?别再被中介骗了
电工证培训的通知在哪考?别再被中介骗了

电工证培训的通知在哪考?别再被中介骗了 你是不是还在为 电工证培训的通知在哪考 发愁?网上搜了一堆信息,结果要么是挂羊头卖狗肉的培训机构,要么就是打着“包过”旗号的骗子?别急,今天我来给你讲讲, 电工证培训的通知… · 2026/11/16 0:00:34

高级电工证企业认可吗保姆级教程:实操考试心里没底怕挂科?看完这些建议再考不迟
高级电工证企业认可吗保姆级教程:实操考试心里没底怕挂科?看完这些建议再考不迟

高级电工证企业认可吗保姆级教程:实操考试心里没底怕挂科?看完这些建议再考不迟 你是不是也这样,站在高压电工实操考试的设备前,手心冒汗,生怕一个操作失误就被判不合格?实操考试心里没底怕挂科,这是很多准备考高级电工证的人的真实写照。别担心,今天… · 2026/11/16 0:00:34

电工证去哪个部门考核值不值得考 信阳转岗人真实经历分享
电工证去哪个部门考核值不值得考 信阳转岗人真实经历分享

电工证去哪个部门考核值不值得考 信阳转岗人真实经历分享 怕考不过白交培训费?你不是一个人,信阳的李师傅去年刚转岗做电工,就因为没搞清楚电工证去哪个部门考核,差点交了8000块的培训费。别急,下面这份实操考试全攻略,告诉你电工证到底值不值得考… · 2026/11/16 0:00:34

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/15 1:51:20

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/15 4:02:19

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/15 3:02:05

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码