Apache DolphinScheduler 在 AWS 云上的一键部署：基于 Packer 构建 AMI 与 Terraform 基础设施编排实战

Apache DolphinScheduler 在 AWS 云上的一键部署基于 Packer 构建 AMI 与 Terraform 基础设施编排实战【免费下载链接】dolphinschedulerApache DolphinScheduler is the modern data orchestration platform. Agile to create high performance workflow with low-code项目地址: https://gitcode.com/gh_mirrors/do/dolphinschedulerApache DolphinScheduler 在仓库中提供了面向 AWS 的整套基础设施即代码IaC方案位于 deploy/terraform/aws 目录先用 HashiCorp Packer 将 DolphinScheduler 发行包官方发行 tar 或本地构建 tar固化为自定义 AMI再用 Terraform 一键拉起 VPC 网络、RDS PostgreSQL 数据库、S3 对象存储、ZooKeeper 与各服务组件Master / Worker / Alert / API / Standalone对应的 EC2 实例实现 standalone 模式与分布式集群模式的分钟级部署。读完本文你将掌握ds-ami.pkrvars.hcl与terraform.tfvars两个变量文件的完整配置方法、AMI 构建与资源创建的完整命令链路、全部输入/输出参数的含义以及 cloud-init 在实例启动时自动完成建库与组件拉起的工作原理。一、方案总览Packer Terraform 的分层架构整套部署脚本分为两个阶段对应两种工具、两个目录阶段工具目录产出构建镜像Packerdeploy/terraform/aws/packer预装 DolphinScheduler 的自定义 AMI编排资源Terraformdeploy/terraform/awsVPC、RDS、S3、ZooKeeper、五类 EC2 实例外层入口文档 deploy/terraform/README.md 明确说明了这套脚本的定位在几分钟甚至几秒内搭建出 DolphinScheduler 环境standalone 模式或集群模式。1.1 从仓库源码看整体资源拓扑从 Terraform 的.tf文件可以还原出完整的基础设施拓扑各.tf文件与职责对应关系如下网络层network-main.tf 创建 VPC默认 CIDR10.0.0.0/16enable_dns_hostnames true、互联网网关、公网子网默认 4 段10.0.1.0/24~10.0.4.0/24、私网子网默认 4 段10.0.101.0/24~10.0.104.0/24以及对应的路由表与关联关系数据库层rds-main.tf 创建 PostgreSQL 14.5 的 RDS 实例默认db.t3.micro、5GB 存储并只放行 Master / Worker / Alert / API / Standalone 五个安全组对 5432 端口的访问对象存储层s3-main.tf 通过社区模块terraform-aws-modules/s3-bucket版本~ 3.6创建私有 S3 桶并创建一个专用 IAM 用户${name_prefix}-s3与访问密钥授予该桶s3:*权限供 DolphinScheduler 的资源存储resource storage使用密钥层key-pair-main.tf 生成 4096 位 RSA 私钥tls_private_key注册为名为dolphinscheduler的 AWS Key Pair并将私钥落盘为本地dolphinscheduler.pem文件权限0700注册中心层zookeeper-main.tf 按需创建单节点 ZooKeeper详见第 4.4 节计算层dolphinscheduler-master.tf、dolphinscheduler-worker.tf、dolphinscheduler-alert.tf、dolphinscheduler-api.tf、dolphinscheduler-standalone.tf 分别创建各组件 EC2 实例镜像查找os-versions.tf 通过data aws_ami dolphinscheduler按ds_ami_name查找自己账号下owners [self]的自定义 AMI同时用data aws_ami amazon-linux选取 Amazon Linux 2022 作为 ZooKeeper 节点的基础镜像变量与输出dolphinscheduler-variables.tf 定义组件副本数与 VM 规格dolphinscheduler-output.tf 暴露各实例的 ID、公网/私网 IP 与公网 DNS。1.2 组件端口与安全组设计各组件之间通过内部端口通信安全组规则严格按“最小开放”原则配置均来源于各.tf文件中的aws_security_group资源组件对外端口安全组规则源码位置API / Standalone12345HTTP对全网开放另开放 22 端口 SSHdolphinscheduler-api.tf、dolphinscheduler-standalone.tfMaster5678gRPC仅放行 API 安全组并通过aws_security_group_rule单独放行 Worker 安全组的 5678 入站dolphinscheduler-master.tfWorker1234gRPC仅放行 Master 与 API 安全组另开放 22 端口dolphinscheduler-worker.tfAlert50052–50053gRPC仅放行 Worker 安全组另开放 22 端口dolphinscheduler-alert.tfZooKeeper2181仅放行上述五个组件安全组另开放 22 端口zookeeper-main.tfRDS5432仅放行上述五个组件安全组rds-main.tf需要说明的是安全组规则中的description字段沿用了模板文本如 Allow incoming HTTP connections但从端口用途看12345 承载 Web UI/API5678/1234/50052-50053 承载组件间 gRPC 通信。二、环境准备部署前需要在本地安装两个 HashiCorp 工具官方 README 明确列为前置条件Packer用于构建 DolphinScheduler 的 AMI 镜像Terraform用于编排 AWS 云上资源。同时你需要一个具备相应权限的 AWS 账号并准备 Access Key / Secret Key文章中的变量文件将直接写入注意保管好密钥生产环境建议改用环境变量或 Vault 等更安全的方式注入。三、构建自定义 AMI第一步Packer3.1 准备变量文件ds-ami.pkrvars.hcl创建变量文件ds-ami.pkrvars.hcl按需填写以下变量这是原文档给出的完整模板可直接复制使用cat EOF ds-ami.pkrvars.hcl aws_access_key aws_secret_key aws_region cn-north-1 ds_ami_name my-test-ds-2 # 使用官方发行包将 ds_version 设置为你要的版本即可 ds_version 3.1.1 # 使用本地构建的发行包将 ds_tar 指向本地 tar 文件 ds_tar ~/workspace/dolphinscheduler/dolphinscheduler-dist/target/apache-dolphinscheduler-3.1.3-SNAPSHOT-bin.tar.gz EOF变量说明变量含义必填aws_access_key/aws_secret_keyAWS 访问密钥是aws_regionAWS 区域默认cn-north-1华北 1否ds_ami_name生成的 AMI 名称后续 Terraform 靠这个名字查找镜像是ds_versionDolphinScheduler 官方发行版本号官方包方式使用视方式ds_tar本地构建的*-bin.tar.gz路径本地包方式使用视方式ds_version与ds_tar二选一构建时选择对应的 Packer 模板即可见 3.2。3.2 两种构建方式与命令方式一使用官方发行 tarpacker init --var-fileds-ami.pkrvars.hcl packer/ds-ami-official.pkr.hcl packer build --var-fileds-ami.pkrvars.hcl packer/ds-ami-official.pkr.hcl方式二使用本地构建的 tarpacker init --var-fileds-ami.pkrvars.hcl packer/ds-ami-local.pkr.hcl packer build --var-fileds-ami.pkrvars.hcl packer/ds-ami-local.pkr.hclpacker init会按模板中的required_plugins自动安装 Amazon 插件github.com/hashicorp/amazon版本 0.0.1packer build执行实际构建。3.3 AMI 内部构建原理源码级两份 Packer 模板 ds-ami-official.pkr.hcl 与 ds-ami-local.pkr.hcl 结构一致差异仅在软件安装来源。其关键实现Buildersource配置——amazon-ebs构建器基础镜像通过source_ami_filter筛选最新的 Amazon Linux 2022 AMIname al2022-ami-*、root-device-type ebs、virtualization-type hvm、architecture x86_64owners [amazon]构建用实例规格t2.microSSH 登录用户ec2-user生成的镜像名ami_name var.ds_ami_name。Provisioner配置器——共用同一套 shell 逻辑sudo yum remove -y java移除系统自带 Javasudo yum install -y java-1.8.0-amazon-corretto.x86_64安装 Amazon Corretto 8写入环境变量export JAVA_HOME/etc/alternatives/jre到/etc/profile.d/java_home.shmkdir -p /opt/dolphinscheduler准备安装目录官方方式用curl从 Apache 归档下载apache-dolphinscheduler-${ds_version}-bin.tar.gz本地方式先用provisioner file把ds_tar上传到~/dolphinscheduler.tar.gz再解压两种方式都以--strip-components 1解压到/opt/dolphinscheduler保证目录结构与后续 Terraform 脚本的约定一致find /opt/dolphinscheduler/ -name start.sh | xargs chmod x为所有组件的启动脚本添加可执行权限。最终产物是一个“开箱即用”的 AMI/opt/dolphinscheduler下已包含完整发行目录结构master-server/、worker-server/、alert-server/、api-server/、standalone-server/、tools/等子目录后续每台 EC2 实例直接从该镜像启动无需重复安装。四、创建基础设施资源第二步Terraform4.1 准备变量文件terraform.tfvars创建terraform.tfvars按需填写原文档完整模板cat EOF terraform.tfvars aws_access_key aws_secret_key aws_region name_prefix test-ds-terraform ds_ami_name my-test-ds ds_component_replicas { master 1 worker 1 alert 1 api 1 standalone_server 0 } EOF⚠️关键约束ds_ami_name必须与 3.1 中ds-ami.pkrvars.hcl里的名称完全一致。Terraform 通过 os-versions.tf 中的data aws_ami dolphinscheduler按名称精确匹配、owners [self]来定位你刚构建的 AMI名称不一致将导致terraform apply找不到镜像而失败。4.2 执行 applyterraform init -var-fileterraform.tfvars terraform apply -var-fileterraform.tfvars -auto-approveterraform init会下载 AWS Provider 与terraform-aws-modules/s3-bucket等模块apply一次性创建全部资源。若想手动确认变更计划可去掉-auto-approve先执行terraform plan。4.3 组件副本数与实例规格ds_component_replicas是核心控制开关定义见 dolphinscheduler-variables.tf五个键分别对应五类 EC2 实例count var.ds_component_replicas.name键对应实例资源默认副本数启动的 DolphinScheduler 组件masteraws_instance.master1master-serverworkeraws_instance.worker1worker-serveralertaws_instance.alert1alert-serverapiaws_instance.api1api-serverstandalone_serveraws_instance.standalone_server0standalone-server两个典型用法集群模式保持 master / worker / alert / api 均为 ≥1standalone_server 0默认配置即此形态Standalone 模式将standalone_server设为 1其余四项设为 0即得到一个单机一体化实例端口 12345。各组件实例的默认规格同样定义于 dolphinscheduler-variables.tf组件实例类型根卷默认数据卷默认mastert2.medium30GBgp210GBgp2workert2.medium30GBgp210GBgp2apit2.small30GBgp210GBgp2alertt2.micro30GBgp210GBgp2standalone_servert2.small30GBgp210GBgp2实例均启用了encrypted trueEBS 加密、delete_on_termination true并支持通过vm_associate_public_ip_address控制是否分配公网 IP默认全部为true。以上全部通过vm_instance_type、vm_root_volume_size、vm_data_volume_size、vm_root_volume_type、vm_data_volume_type等 map 类型变量按组件粒度自定义。4.4 ZooKeeper 的按需创建逻辑DolphinScheduler 集群依赖 ZooKeeper 作为注册中心。仓库的处理策略是见 zookeeper-main.tf 与各组件zookeeper_connect_string的取值若zookeeper_connect_string为空字符串默认则自动创建 1 台 Amazon Linux 2022 实例data.aws_ami.amazon-linux通过 templates/zookeeper/cloud-init.yaml 安装并启动 Docker随后用remote-exec执行docker run -it --name zookeeper -d -p 2181:2181 zookeeper:3.5拉起单节点 ZooKeeper各组件 user-data 中的zookeeper_connect_string采用三元表达式var.zookeeper_connect_string ! ? var.zookeeper_connect_string : aws_instance.zookeeper[0].private_ip即用户提供连接串则优先使用可对接已有 ZooKeeper 集群否则自动指向新建实例的内网 IP。⚠️ 原文档特别提醒自动创建的单节点 ZooKeeper仅用于演示demonstration不要在生产环境使用。4.5 RDS 数据库与 schema 初始化数据库层由 rds-main.tf 创建PostgreSQL 14.5、默认实例类db.t3.micro、分配 5GB 存储、skip_final_snapshot true、publicly_accessible true、数据库名dolphinscheduler。db_username默认dolphinschedulerdb_password为必填项。数据库的初始化建表与元数据升级并不由 Terraform 直接执行而是放在实例启动的 cloud-init 阶段每个组件实例都会先运行dolphinscheduler-schema.service一次性服务执行发行包内tools/bin/upgrade-schema.sh完成 schema 创建再启动正式的服务单元详见 4.6。4.6 实例初始化cloud-init 与 systemd源码级每台 DolphinScheduler 组件实例的user_data都来自模板 templates/cloud-init.yamlTerraform 通过template_file渲染核心逻辑如下系统用户创建用户dssudo 免密、加入ssh_authorized_keys并把公钥同时写入 root 用户保证运维可登录两个 systemd 单元dolphinscheduler-schema.serviceTypeoneshot以ds用户执行bash -l /opt/dolphinscheduler/tools/bin/upgrade-schema.sh负责初始化数据库 schemadolphinscheduler.serviceRequiresdolphinscheduler-schema.service保证建库先完成执行/opt/dolphinscheduler/component/bin/start.sh启动对应组件component由各.tf中的dolphinscheduler_component变量注入分别为master-server、worker-server、alert-server、api-server、standalone-server并配置Restartalways实现崩溃自动拉起环境变量注入两个单元统一注入数据库与注册中心配置DATABASEpostgresql、SPRING_PROFILES_ACTIVEpostgresql激活 PostgreSQL ProfileSPRING_DATASOURCE_URLjdbc:postgresql://db_address:db_port/db_name、SPRING_DATASOURCE_USERNAME、SPRING_DATASOURCE_PASSWORD来自 RDS 实例属性REGISTRY_ZOOKEEPER_CONNECT_STRINGZooKeeper 连接串WORKER_ALERT_LISTEN_HOST告警服务监听地址当前模板固定为空串占位S3 资源存储配置runcmd中对发行包内所有common.properties执行sed批量替换将资源存储切到 S3resource.storage.typeS3resource.aws.access.key.id/resource.aws.secret.access.key来自 s3-main.tf 中aws_iam_access_key.s3resource.aws.region当前 AWS 区域resource.aws.s3.bucket.name新建桶名resource.aws.s3.endpoint当前为空走 AWS 默认 endpoint启动编排chown -R ds:ds /opt/dolphinscheduler、为start.sh加执行权限、systemctl enable dolphinscheduler并依次start两个服务。这套设计保证了实例从 AMI 启动后无需人工干预自动完成目录权限修复、资源存储配置、建库、组件拉起最终对外提供可用服务。五、访问 DolphinScheduler Web UI资源创建完成后执行原文档提供的命令打开 Web 界面open http://$(terraform output -json api_server_instance_public_dns | jq -r .[0]):12345/dolphinscheduler/ui该命令先通过terraform output -json取出 API 实例的公网 DNS数组第一个元素jq -r .[0]再拼上端口12345与路径/dolphinscheduler/ui。该 URL 能访问的前提是api实例的安全组放行了 12345 端口默认即如此且vm_associate_public_ip_address.api true默认。六、全部输入参数Inputs下表为原文档完整收录的全部输入参数默认值同时与 dolphinscheduler-variables.tf、network-variables.tf、rds-variables.tf、s3-variables.tf、zookeeper-variables.tf 保持一致名称描述类型默认值必填aws_access_keyAWS access keystringn/a是aws_regionAWS regionstringcn-north-1否aws_secret_keyAWS secret keystringn/a是db_instance_class数据库实例规格stringdb.t3.micro否db_password数据库密码stringn/a是db_username数据库用户名stringdolphinscheduler否ds_ami_nameDolphinScheduler AMI 名称stringdolphinscheduler-ami否ds_component_replicas各组件副本数map(number){alert:1, api:1, master:1, standalone_server:0, worker:1}否ds_versionDolphinScheduler 版本string3.1.1否name_prefix所有资源的名称前缀stringdolphinscheduler否private_subnet_cidr_blocks私网子网可用 CIDRlist(string)[10.0.101.0/24,10.0.102.0/24,10.0.103.0/24,10.0.104.0/24]否public_subnet_cidr_blocks公网子网 CIDRlist(string)[10.0.1.0/24,10.0.2.0/24,10.0.3.0/24,10.0.4.0/24]否s3_bucket_prefixS3 桶名前缀stringdolphinscheduler-test-否subnet_count子网数量map(number){private:2, public:1}否tags应用到所有资源的标签map(string){Deployment:Test}否vm_associate_public_ip_address是否给 EC2 分配公网 IPmap(bool)五组件均true否vm_data_volume_sizeEC2 数据卷大小map(number)五组件均10否vm_data_volume_typeEC2 数据卷类型map(string)五组件均gp2否vm_instance_typeEC2 实例规格map(string){alert:t2.micro,api:t2.small,master:t2.medium,standalone_server:t2.small,worker:t2.medium}否vm_root_volume_sizeEC2 根卷大小map(number)五组件均30否vm_root_volume_typeEC2 根卷类型map(string)五组件均gp2否vpc_cidrVPC CIDRstring10.0.0.0/16否zookeeper_connect_stringZooKeeper 连接串为空则自动创建单节点 ZooKeeper仅演示用途勿用于生产string否七、全部输出参数Outputsterraform apply成功后所有实例信息与依赖服务地址都可通过terraform output获取。原文档列出的完整输出如下实现见 dolphinscheduler-output.tf、rds-output.tf、s3-outputs.tf、zookeeper-output.tf名称描述alert_server_instance_idAlert 实例 IDalert_server_instance_private_ipAlert 实例私网 IPalert_server_instance_public_dnsAlert 实例公网域名alert_server_instance_public_ipAlert 实例公网 IPapi_server_instance_idAPI 实例 IDapi_server_instance_private_ipAPI 实例私网 IPapi_server_instance_public_dnsAPI 实例公网域名api_server_instance_public_ipAPI 实例公网 IPdb_address数据库地址db_name数据库名db_port数据库端口master_server_instance_idMaster 实例 IDmaster_server_instance_private_ipMaster 实例私网 IPmaster_server_instance_public_dnsMaster 实例公网域名master_server_instance_public_ipMaster 实例公网 IPs3_access_keyS3 访问密钥IDs3_addressS3 地址s3_bucketS3 桶名s3_regional_domain_nameS3 区域域名s3_secretS3 访问密钥Secretvm_server_instance_idStandalone 实例 IDvm_server_instance_private_ipStandalone 实例私网 IPvm_server_instance_public_dnsStandalone 实例公网域名vm_server_instance_public_ipStandalone 实例公网 IPworker_server_instance_idWorker 实例 IDworker_server_instance_private_ipWorker 实例私网 IPworker_server_instance_public_dnsWorker 实例公网域名worker_server_instance_public_ipWorker 实例公网 IPzookeeper_server_instance_idZooKeeper 实例 IDzookeeper_server_instance_private_ipZooKeeper 实例私网 IPzookeeper_server_instance_public_dnsZooKeeper 实例公网域名zookeeper_server_instance_public_ipZooKeeper 实例公网 IP结合这些输出与第 1.2 节的端口表你可以直接拼出各服务的访问地址例如用api_server_instance_public_dns:12345访问 Web UI或用zookeeper_server_instance_private_ip:2181配置外部客户端。八、常用运维场景与注意事项8.1 三种典型部署形态的变量组合形态ds_component_replicas设置说明分布式集群master1, worker1, alert1, api1, standalone_server0默认形态四组件各一台 EC2Standalone 单机master0, worker0, alert0, api0, standalone_server1一体化实例端口 12345混合/扩容任意调整各副本数横向扩容 Worker 只需调大worker副本数后重新 apply8.2 关键注意事项镜像名一致性ds_ami_name在 Packer 与 Terraform 两个阶段必须一致否则apply会因找不到 AMI 失败ZooKeeper 生产警告自动创建的单节点 ZooKeeperDocker 容器仅为演示用途生产环境应通过zookeeper_connect_string指向高可用的外部 ZooKeeper 集群数据库凭据db_password为必填项写入terraform.tfvars后注意文件权限与保密安全组端口12345、5678、1234、50052-50053、2181、5432 等端口规则已由仓库默认配置好若自建安全组或修改 CIDR 需保持组件间连通性SSH 登录密钥对固定命名为dolphinscheduler私钥落盘为本地dolphinscheduler.pem权限0700可用ssh -i dolphinscheduler.pem ec2-userpublic_ip登录排障资源清理仓库未提供 destroy 文档说明但 Terraform 标准流程terraform destroy -var-fileterraform.tfvars可回收全部资源RDS 已设skip_final_snapshot销毁不留快照。九、总结本方案将 DolphinScheduler 的 AWS 部署沉淀为两层 IaCPacker 层把发行包官方版本或本地构建固化为标准化 AMI内置 Java 8Corretto与可执行脚本实现镜像的“一次构建、处处复用”Terraform 层以ds_component_replicas为总开关一键生成网络、数据库、对象存储、注册中心与五类计算实例并通过 cloud-init systemd 在实例首次启动时自动完成建库upgrade-schema.sh、S3 资源存储配置与组件拉起。整条链路从零到可访问 Web UI 只需两个变量文件、四条命令非常适合测试环境搭建、演示环境交付与集群容量演练。所有可运行脚本与模板均可在仓库的 deploy/terraform/aws 目录中找到你可以按需阅读 packer 模板、cloud-init 模板 及各组件.tf文件进一步定制自己的部署方案。【免费下载链接】dolphinschedulerApache DolphinScheduler is the modern data orchestration platform. Agile to create high performance workflow with low-code项目地址: https://gitcode.com/gh_mirrors/do/dolphinscheduler创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考