12 · 新机部署实录（38.76.188.216，2026-11-02）

目的把「在一台全新云主机上把feature/merge平台 Path B 真实运行时跑起来」的全过程按「现象 → 根因 → 修复 → 验证」记下来作为11-新机从零部署指南.md的实测补丁。本篇只写11 里没写、写错、或看起来无害实际会炸的地方流程本身仍以 11 为准。0. 目标机与结果项值主机38.76.188.216rootUbuntu 24.04.1 LTSkernel 6.8x86_64纯 CPU 无 GPU代码/srv/deepracer-platform/repofeature/mergecommit074ff380a89fDRfC/home/rambo/deepracer-for-cloudDRfC 6.0.8DR_SIMAPP_VERSION6.0.8-cpu平台端口18080nginx → backend:8000结果平台 health 200version 1.2.0/commit 074ff380a89f/db/redis/storage全 trueDRfChost-check.shPASS11 FAIL0平台 probe8/8 PASS真实训练产出model_0.pb23 MB落 DRfC MinIO评测SUCCEEDEDcompletion_rate 1.0、best_lap 112.394并产出 MP4 7.36 MB1. 时间线关键节点时刻(UTC)事件11:2xPath Abootstrap.sh→ 8 个容器 Uphealth 20069 条赛道Host local-01FAKE11:4xPath B 准备swarm initSagemaker/Robomakerlabel 带 compose 标签的sagemaker-localoverlay11:5xprepare.sh已打 docker.io 补丁在 SSH 会话里跑 →apt -y upgrade替换openssh-server→会话被杀22 端口消失12:2x后台docker pull simapp:6.0.8-cpu完成日志PULL_DONE rc016.4 GB 落盘13:4x控制台Restart→ 22 端口恢复ssh.socket 激活13:4xsystemd-run托管重跑prepare.sh→PREPARE_RC0.venv / aws-cli / docker 全部就位13:5xDRfC 侧手工初始化 →s3_minio 1/1host-check.shFAIL013:54平台.env五项 重建 backend/worker/worker-runtime → probe 8/8 PASSHostLOCAL/ONLINE13:57API 建训练作业 →TRAININGdeepracer-0_rl_coach 1/1、algo-1容器起model_0.pb落桶14:0xPOST /training-jobs/1/stop→STOPPING→CANCELLED栈清理干净14:08登记 ModelVersion 发起评测1 trial 录视频→RUNNINGrobomaker 真实跑圈14:22评测SUCCEEDEDtask 831 scompletion_rate1.0、best_lap_time112.394、MP4 7.36 MB 落桶2. 问题与修复清单2.1 SSH / 远程执行Windows → Linux#现象根因修复1PowerShell 里远端命令的;、、引号被吃掉/截断PowerShell 先自己解析一遍多引号嵌套必然走形所有远端操作改成本地写.sh→ 上传 → 远端bash执行禁用内联长命令2远端输出到 Windows 控制台乱码 /UnicodeEncodeError控制台默认 GBK远端输出 UTF-8paramiko 侧sys.stdout.reconfigure(encodingutf-8, errorsreplace)3连续执行两个脚本报syntax error near unexpected token固定路径/tmp/_rs.sh被下一个脚本覆盖bash 边读边执行读到半截新内容用唯一路径/tmp/_rs_pid_ts.sh2.2prepare.sh的两个坑都会让你以为机器坏了#现象根因修复4跑完prepare.sh后docker --version从 29.9.2 变回发行版docker.ioSwarm/插件全失效prepare.sh第 119 行无条件apt install --no-install-recommends docker.io docker-buildx docker-compose-v2会用docker.io覆盖docker-ce部署前把该行替换成echo [patch] skip docker.io install ...保留.orig-ts备份本机实测 patch 生效dpkg -l里只有docker-ce*5prepare.sh跑到apt upgrade时 SSH 断线之后22 端口永久不通扫 30 端口只有 18080 开着apt -y upgrade替换openssh-server9.6p1-3ubuntu13.20→ 正在跑的 sshd 被杀Ubuntu 24.04 走ssh.socket激活包升级过程中 socket 单元被停升级没收尾就再也没人拉起来① 用systemd-run --unit... --collect --propertyKillModeprocess托管执行SIGHUP 不再杀进程② 断了就走控制台 Restart重启触发 socket 激活实测重启后 22 立刻回来③ 恢复后dpkg --configure -a会卡在 sshd_config 交互提问本机 sshd_config 被改过必须带-o Dpkg::Options::--force-confold保留本地版本事后核对dpkg -l | awk $1!ii只剩rc已删但留配置和hi grub-pcprepare.sh主动 hold 的apt-get -s upgrade待升级数 0 —— 那次被打断的 upgrade 实际已被重启 dpkg --configure -a收尾。2.3 DRfC 侧#现象根因修复6docker pull minio/minio:*全部 404上游 2025-10 下架拉 Docker Hub 副本再 retagdocker pull rambogor/minio:RELEASE.2023-06-23T20-26-00Z docker tag ... minio/minio:RELEASE.2023-06-23T20-26-00Z7s3_minio起得来但 6.x 训练栈起不了algo-1/tmp/sagemaker/id/只有failuresagemaker-localoverlay 缺com.docker.compose.network/project标签docker network create -d overlay --attachable --scope swarm --label com.docker.compose.networksagemaker-local --label com.docker.compose.projectsagemaker-local sagemaker-local8docker pull ...simapp:6.0.8-cpu长时间「无输出」看着像卡死4.06 G 下载 / 29 层 / 16.4 G 落盘pull 阶段只在下层进度条经常不动后台跑 写日志别中断本机 12:25:30 打出PULL_DONE rc09bin/init.sh一跑就Swarm exists. Exiting.且system.env/run.env被写回模板① 第 120–121 行无条件cp defaults/template-*.env② 第 178–181 行检测到已有 Swarm 直接exit 1不跑init.sh改手工等价步骤建data/、/tmp/sagemaker、.aws符号链接、minio profile、source activate.sh起 s3 栈——已回写进11§6.210source bin/activate.sh返回 1脚本里source ... dr-start-training永远不执行末行[[ $- *i* ]] dr-summary在非交互 shell 返回 1另 341 行用到 379 行才赋值的DR_DOCKER_MAJOR_VERSION必打[: : integer expression expected平台侧local_shell._drfc用. ./bin/activate.sh; cmd分号——自己写脚本也别用integer 报错无害11训练栈报「找不到 aws 凭据」/dr-upload-custom-files失败docker/volumes/.aws是仓库里的0 字节占位文件不是符号链接rm -f docker/volumes/.aws ln -sfn /root/.aws docker/volumes/.awsaws configure --profile minioprofile 名固定minioAK/SK 任意2.4 平台侧接真机#现象根因修复12改完.env重建 backend 后http://IP:18080变502但容器 health 200nginx 启动时把backend解析成 IP 并缓存backend 重建换了 IPdocker compose ... restart nginx13POST /api/v1/training-jobs返回301jq 解析全空DRF 路由带尾斜杠curl不跟随重定向拿到 HTML一律尾斜杠 curl -L/tracks/、/rewards/、/system/hosts/同理14评测报model_version 不存在训练被stop取消 →register_training()没被调用 → 没有ModelVersion行走与「训练成功」同一条代码路径补登记registry.service.register_training(job)s3_prefixprefix/model再POST /evaluations/15平台storage一直 true但读不到训练产物AWS_S3_*仍指向平台自带的miniobucketdrplat产物在 DRfC 的s3_miniobucketbucket.env五项指向 DRfCAWS_S3_ENDPOINT_URLhttp://drfc-minio:9000、AWS_S3_BUCKETbucket、AK/SK 取/root/.aws/credentials的[minio]、ALLOW_REAL_RUNTIME1、DRFC_ROOT/home/rambo/deepracer-for-cloudcompose.prod.yml的x-backend-common.extra_hosts已自带drfc-minio:host-gateway无需改 compose副作用要知道切到 DRfC MinIO 后平台自己的对象也进bucketPath A 假跑时存在drplat桶里的东西不再可见。想两头都要就保留bitnamilegacy/minio容器只把AWS_S3_*切回http://minio:9000drplat。3. 验收证据# 平台curl-shttp://38.76.188.216:18080/api/v1/system/health# {status:ok,db:true,redis:true,storage:true,version:1.2.0,commit:074ff380a89f,env:prod}# 宿主 8 条硬约束backend/deploy/host-check.sh# 结果PASS11 FAIL0 WARN1 WARN 仅时区 Etc/UTC# 平台 probe/system/hosts/1/probe 等价# PASS swarm / labels / network / minio_service(1/1) / minio_image / docker_sock / run_env / disk# PROBE ok True# DRfC 真实栈dockerservicels# deepracer-0_rl_coach 1/1 deepracer-0_robomaker 1/1 s3_minio 1/1dockerps--filternamealgo-1-# vx5jmjdwjz-algo-1-h1fpq Up# 产物DRfC MinIObucketbucketaws --endpoint-url http://127.0.0.1:9000 s3ls--recursives3://bucket# pathb-smoke-1/model/model_0.pb 23377673# pathb-smoke-1/model/0_Step-0.ckpt.meta 2112304# pathb-smoke-1/model/deepracer_checkpoints.json# pathb-smoke-1/reward_function.py# pathb-smoke-1/training_params.yaml# training_job/uuid/custom_files/{hyperparameters,model_metadata,reward_function}# 评测产物# evaluation/eval-uuid/mp4/0-video.mp4 7361268 ← 平台转码后的成品# evaluation/eval-uuid/preview/0-video-{in,mid,finish}.jpg# pathb-smoke-1/mp4/camera-pip/0-video.mp4 7361268 ← DRfC 录的原始三视角# pathb-smoke-1/mp4/camera-45degree/0-video.mp4 7213415# pathb-smoke-1/mp4/camera-topview/0-video.mp4 847710# pathb-smoke-1/evaluation-20261102140848/evaluation-simtrace/0-iteration.csv# pathb-smoke-1/metrics/evaluation/evaluation-20261102140848.json评测结论GET /api/v1/evaluations/1/{id:1,status:SUCCEEDED,model_label:pathb-smoke-1-00001,completion_rate:1.0,best_lap_time:112.394,error_code:,trials:[{trial:1,status:SUCCEEDED,episodes:1,avg_reset:18.0}]}GET /api/v1/evaluations/1/video/→200 {artifact:4, video_pending:false, url:/api/v1/artifacts/4/download?token...}video_pending:false 桶里有 mp4 ffmpeg 转码链路也通了4. 复现这套机器的最短路径# 0) 前提Docker CE 已装29.x未被 apt 换回 docker.io# 1) 平台路径 Agitclonerepo/srv/deepracer-platform/repocd/srv/deepracer-platform/reposudobackend/deploy/bootstrap.sh# build up migrate 建管理员# 2) Path B 准备11 §3.4–3.6手工别用 init.shdockerswarm initdockernodeupdate --label-addSagemakertrue --label-addRobomakertrue selfdockernetwork create-doverlay--attachable--scopeswarm\--labelcom.docker.compose.networksagemaker-local\--labelcom.docker.compose.projectsagemaker-local sagemaker-local# 3) DRfC11 §6.1–6.2本次改写过# prepare.sh 用 systemd-run 托管跑补 data/、/tmp/sagemaker、.aws 符号链接、minio profilesourcebin/activate.sh# 起 s3 栈bash/srv/deepracer-platform/repo/backend/deploy/host-check.sh# FAIL 必须是 0# 4) 平台接真机11 §7# .env 五项 → restart nginx 重建 backend/worker/worker-runtime → HostLOCAL → probe# 5) 跑一轮POST /api/v1/training-jobs/ → TRAINING → model_0.pb 落桶 → stop → CANCELLED5. 遗留 / 已知限制纯 CPU 机一轮真实训练很慢单 episode 数分钟SIM_TRACE_LOG步进 ~2–3 step/s1 trial 评测实测 831 s14 min。冒烟验证足够真正训练建议 GPU 机。训练成功 →ModelVersion才会自动登记中途 stop/cancel 不会要评测就得手工register_training(job)。prepare.sh每跑一次都可能再触发apt upgrade换openssh-server别在 SSH 会话里裸跑。平台自带miniodrplat桶在 Path B 下基本闲置但仍会被 compose 拉起来占内存确定不再用可注释。| 2 | 远端输出到 Windows 控制台乱码 /UnicodeEncodeError| 控制台默认 GBK远端输出 UTF-8 | paramiko 侧sys.stdout.reconfigure(encodingutf-8, errorsreplace)|| 3 | 连续执行两个脚本报syntax error near unexpected token| 固定路径/tmp/_rs.sh被下一个脚本覆盖bash 边读边执行读到半截新内容 | 用唯一路径/tmp/_rs_pid_ts.sh|