首页/新闻资讯/正文详情

DolphinScheduler从1.3.4升级到3.1.2的完整指南

发布时间:2026/11/18 14:30:00 来源:云帆数科 栏目:资讯中心
DolphinScheduler从1.3.4升级到3.1.2的完整指南
1. 升级背景与版本差异分析从DolphinScheduler 1.3.4升级到3.1.2属于跨越两个大版本的升级这中间经历了架构的重大调整和功能重构。1.3.4版本发布于2020年采用的是主从架构而3.1.2版本已经完全重构为微服务架构。这种架构变化带来了几个关键差异点API接口变更3.x版本完全重写了REST API1.x版本的API调用方式不再兼容数据库结构变化工作流定义表、任务实例表等核心表结构都发生了变更调度引擎升级从基于Quartz的调度改为自研的分布式调度引擎权限模型重构从简单的用户-租户模型升级为RBAC权限体系重要提示直接从1.3.4升级到3.1.2是不被官方支持的必须按照1.3.4 → 2.0.5 → 3.1.2的顺序逐步升级。跳过中间版本会导致数据库迁移失败。2. 升级前的准备工作2.1 环境检查清单在开始升级前需要确保环境满足以下要求硬件资源Master节点至少4核CPU/8GB内存Worker节点至少2核CPU/4GB内存磁盘空间元数据库预留10GB以上空间软件依赖JDK版本必须使用JDK 81.3.4升级到JDK 113.1.2数据库驱动MySQL驱动需要从5.x升级到8.xZooKeeper从3.4.x升级到3.6.x数据备份# 备份元数据库 mysqldump -uroot -p dolphinscheduler ds_backup_1.3.4.sql # 备份资源文件 tar -czvf ds_resources_1.3.4.tar.gz /opt/dolphinscheduler/resources/*2.2 版本升级路径规划由于大版本跨度较大必须分阶段升级第一阶段1.3.4 → 2.0.5需要先升级到2.0.5这个过渡版本此版本开始支持自动数据库迁移第二阶段2.0.5 → 3.1.2需要处理微服务化带来的配置变更注意API服务的拆分api-server和master-server分离3. 第一阶段1.3.4到2.0.5升级实操3.1 数据库迁移问题处理执行升级脚本时遇到的典型错误ERROR 1071 (42000): Specified key was too long; max key length is 767 bytes这是因为MySQL的innodb_large_prefix设置问题解决方案-- 临时修改配置 SET GLOBAL innodb_file_formatBarracuda; SET GLOBAL innodb_file_per_tableON; SET GLOBAL innodb_large_prefixON; -- 对已有表重建 ALTER TABLE t_ds_process_instance ROW_FORMATDYNAMIC;3.2 配置文件合并技巧新旧版本配置项差异较大建议采用以下合并策略保留旧版conf/config/install_config.conf中的worker分组信息从新版安装包中获取conf/application.yaml的基础配置特别注意以下关键参数迁移1.3.4配置项2.0.5对应位置注意事项server.portserver.port (application.yaml)需要改为api.server.portspring.datasource.urlspring.datasource.dynamic.datasource.master.url改为多数据源配置dolphin.scheduler.zk.quorumspring.zk.quorumZK地址配置位置变化4. 第二阶段2.0.5到3.1.2升级挑战4.1 微服务拆分带来的问题3.x版本将单体应用拆分为多个微服务需要特别注意服务发现配置# conf/registry.properties registry.plugin.namezookeeper registry.servers127.0.0.1:2181API网关调整旧版直接访问api-server新版需要通过gateway-server访问默认端口123454.2 数据库迁移的坑执行upgrade-schema.sh脚本时常见问题表字段缺失错误Caused by: java.sql.SQLException: Column task_definition_version not found解决方法手动执行遗漏的DDL语句ALTER TABLE t_ds_task_definition ADD COLUMN task_definition_version int DEFAULT 1;数据兼容性问题 对于复杂的工作流定义建议先在测试环境导出2.0.5的工作流JSON在3.1.2环境重新导入5. 升级后验证与调优5.1 基础功能验证清单服务健康检查curl http://localhost:12345/dolphinscheduler/actuator/health工作流测试创建包含Shell、SQL、HTTP等任务类型的测试工作流验证上下游依赖关系是否正常告警通知测试测试邮件、Webhook等告警方式特别注意告警插件SPI接口变更5.2 性能调优建议针对3.1.2版本的优化参数# conf/master.properties master.exec.threads100 master.exec.task.num20 master.dispatch.task.num30 # conf/worker.properties worker.exec.threads50 worker.heartbeat.interval106. 回滚方案设计6.1 数据库回滚步骤停止所有3.1.2服务恢复2.0.5版本的数据库mysql -uroot -p dolphinscheduler ds_backup_2.0.5.sql启动2.0.5服务6.2 配置回滚注意事项恢复旧版install_config.conf时要注意Worker分组的机器IP可能已经变化租户配置需要重新关联资源文件回滚rm -rf /opt/dolphinscheduler/resources/* tar -xzvf ds_resources_2.0.5.tar.gz -C /opt/dolphinscheduler/7. 特别注意事项自定义插件处理1.x版本的告警插件需要重写实现新的AlertPluginSPI接口重新打包放到libs/plugin/alert目录跨版本API适配 如果业务系统调用了DS的API需要替换API客户端为3.x版本SDK修改接口路径如/v1/projects替代/projects小文件存储问题 3.x版本默认使用HDFS存储小文件如果沿用本地存储# conf/common.properties resource.storage.typeHDFS resource.storage.upload.base.path/tmp/dolphinscheduler升级过程中如果遇到ProcessDefinition json deserialize failed等序列化问题建议使用新版UI重新创建工作流定义而不是直接迁移旧版JSON。

相关推荐

Agents-A1-6bit模型原理详解:MoE架构如何提升多模态任务效率?
Agents-A1-6bit模型原理详解:MoE架构如何提升多模态任务效率?

Agents-A1-6bit模型原理详解:MoE架构如何提升多模态任务效率? 【免费下载链接】Agents-A1-6bit 项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Agents-A1-6bit Agents-A1-6bit是基于MLX框架的6-bit量化视觉语言模型,采… · 2026/11/18 14:29:59

mlx-community/Qwopus3.6-27B-Coder-6bit核心技术揭秘:6bit量化如何实现效率与性能的完美平衡
mlx-community/Qwopus3.6-27B-Coder-6bit核心技术揭秘:6bit量化如何实现效率与性能的完美平衡

mlx-community/Qwopus3.6-27B-Coder-6bit核心技术揭秘:6bit量化如何实现效率与性能的完美平衡 【免费下载链接】Qwopus3.6-27B-Coder-6bit 项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Qwopus3.6-27B-Coder-6bit mlx-community/Qwopus3.6-2… · 2026/11/18 14:29:59

三星到iPhone联系人迁移全攻略:4种方案实测对比
三星到iPhone联系人迁移全攻略:4种方案实测对比

1. 为什么需要跨平台转移联系人?作为一名经历过多次换机的数码爱好者,我深刻理解从安卓切换到iOS时数据迁移的痛点。三星手机使用Google账户同步联系人,而iPhone则依赖iCloud生态,这种系统级差异导致直接传输存在障碍。根据Counte… · 2026/11/2 0:20:45

铁路机车初级电工证值不值得考?怕被中介坑的你别错过这些干货
铁路机车初级电工证值不值得考?怕被中介坑的你别错过这些干货

铁路机车初级电工证值不值得考?怕被中介坑的你别错过这些干货 你是不是也这样,听说了【铁路机车初级电工证】,想考又怕被坑?又担心这证值不值得考?其实,很多人和你一样,既不了解考试内容,又不知道去哪报名,怕被中介拿捏。别慌,今天我从一个在应急管… · 2026/11/18 14:29:22

电厂要考哪个电工证 含金量高不高看这篇就够了
电厂要考哪个电工证 含金量高不高看这篇就够了

电厂要考哪个电工证 含金量高不高看这篇就够了 工地太忙根本没时间复习考试,你是不是也经常因为赶工期、加班加点,根本顾不上准备电工证考试?别急,这篇文章专门为你解决“电厂要考哪个电工证”这个难题,带你搞清楚哪个证最有 含金量… · 2026/11/18 14:29:22

开封考电工证流程保姆级教程:怕考不过白交培训费?
开封考电工证流程保姆级教程:怕考不过白交培训费?

开封考电工证流程保姆级教程:怕考不过白交培训费? 怕考不过白交培训费?开封电工证考试不是你想象中的那么难,关键是你得走对流程。本文给你 保姆级教程 ,从报名到拿证,一步不落,让你少走弯路,省心又省钱。… · 2026/11/18 14:29:22

电工证考试钳表使用报考条件与考试时间怎么查?官方报名入口在这
电工证考试钳表使用报考条件与考试时间怎么查?官方报名入口在这

电工证考试钳表使用报考条件与考试时间怎么查?官方报名入口在这 证书过期了不知道怎么复审延期?别急,先搞清楚【电工证考试钳表使用】的报考条件和考试时间安排,再找到【官方报名入口】就对了。 一、电工证考试钳表使用:考试内容到底考什么?… · 2026/11/18 14:29:22

电工证离职怎么办?离职后怎么处理含金量高的电工证
电工证离职怎么办?离职后怎么处理含金量高的电工证

电工证离职怎么办?离职后怎么处理含金量高的电工证 你是不是也遇到过这种情况?刚找到新工作,却发现原来的电工证还在原单位名下,现在要离职了,不知道怎么处理这个证,更怕被中介忽悠。电工证离职怎么办?别急,这篇文章就来帮你搞清楚怎么处理,让你不花… · 2026/11/18 14:29:22

厂里要复印电工证,没时间复习怎么办?含金量高的证怎么考?
厂里要复印电工证,没时间复习怎么办?含金量高的证怎么考?

厂里要复印电工证,没时间复习怎么办?含金量高的证怎么考? 工地太忙根本没时间复习考试,这事儿我懂。我之前在洛阳一家建筑公司当安全员,天天在工地上跑,连吃饭时间都被压缩了。但厂里要复印电工证这事,不解决还真不行。电工证是特种作业操作证,… · 2026/11/18 14:28:21

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/18 8:19:55

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/18 8:19:53

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/17 9:06:35

电工证做题最新内部消息:怕考不过白交培训费?三招教你稳过
电工证做题最新内部消息:怕考不过白交培训费?三招教你稳过

电工证做题最新内部消息:怕考不过白交培训费?三招教你稳过 你是不是也这样?报名了电工证培训,交了钱,结果一到考试就懵, 怕考不过白交培训费 ?别慌,这是很多初次报考人员的真实写照。而最近, 河南省应急管理厅… · 2026/11/18 0:00:37

许昌电工证在哪复审 别踩坑怕考不过白交培训费
许昌电工证在哪复审 别踩坑怕考不过白交培训费

许昌电工证在哪复审 别踩坑怕考不过白交培训费 怕考不过白交培训费,这几乎是每个想考电工证的学员心中的痛。尤其是在许昌,电工证的报考和复审流程复杂,稍有不慎就可能被坑, 千万别踩坑… · 2026/11/18 0:00:37

老式电工证还能用吗?怎么报名别踩坑,河南企业主都在问的实操真相
老式电工证还能用吗?怎么报名别踩坑,河南企业主都在问的实操真相

老式电工证还能用吗?怎么报名别踩坑,河南企业主都在问的实操真相 实操考试心里没底怕挂科?老式电工证还能用吗?怎么报名又怕被坑?这些问题几乎每个准备考电工证的施工企业负责人心里都在打鼓。尤其是河南本地的中小施工企业,很多都在用老式电工证,但随… · 2026/11/18 0:00:37

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码