从环境配置到训练曲线：DQN与DDQN在Atari上的完整工程实践

简介基于 Python 在 gym Atari 环境中实现 DQN 算法及其变体的完整工程面向深度学习课程设计、强化学习入门者以及需要在普通笔记本上跑通强化学习实验的开发者内容覆盖环境搭建、算法公式推导、模型训练、效果可视化等整个实践链路。资源共包含 255 个文件压缩包约 5.05MB其中 123 个 Python 源文件是主体同时配有 TensorBoard 训练日志、PDF/Markdown 说明文档、YAML/JSON 环境配置、Dockerfile 容器配置以及 DQN 与 DDQN 训练过程的 GIF/PNG 演示素材。目前已有 204 人学习/下载。训练日志、事件文件和录屏能帮助读者直观观察不同阶段的表现便于对照源码理解 DQN/DDQN 的实现差异、超参数选择和奖励曲线变化作者在资源受限设备上训练时遇到的内存不足、中途退出等限制也反映在训练日志中有助于硬件配置一般的读者预判问题、调整复现策略。1. 一个没跑完的 DQN 课程设计能给你什么不能给你什么在 Python 里用 gym Atari 环境实现 DQN 算法及其变体这个题目在课程设计里看着中规中矩真做起来才发现卡点全在环境和硬件上。这份代码包的作者用轻薄本硬跑训练到几万帧就被内存撑爆最后把没跑完但跑出来的部分——Dockerfile、record_dqn.gif、record_ddqn.gif、几个 events.out.tfevents 日志——原样留了下来。它不能给你一个刷榜级 Agent但能给你一套从环境到曲线、从 DQN 到 DDQN 的完整回路对要交课程设计、想复现强化学习实验、又不想从零踩环境坑的人来说这份资源能省掉至少一周的“玄学”时间。2. 先把环境跑起来Atari 的版本匹配与四步预处理大多数 DQN 课程设计交上去之后跑不起来不是网络写错而是环境版本不一致。gym Atari 的 API 这几年改过多次照着老教程抄obs env.reset()在新版本里直接报错done也被拆成了terminated和truncated。所以拿到这份资源第一件事不是读模型而是把环境固定在作者能用的一组版本上。2.1 版本匹配gym、ale-py 与 gymnasium 的三角关系项目里带了 Dockerfile说明作者也被 Python 版本、OpenCV 和 ALE 依赖折磨过。常见做法是拿 PyTorch 官方镜像当底座再补上 gym 和 ale-py。这样既能用 GPU又能避开宿主机上乱七八糟的图形库。下面是我一般会用的 Dockerfile标注了关键参数FROM pytorch/pytorch:1.13.1-cuda11.6-cudnn8-runtime RUN pip install --no-cache-dir \ gym0.25.2 \ ale-py0.8.1 \ opencv-python-headless4.8.0.74 \ tensorboard \ imageio \ matplotlib WORKDIR /app COPY . /app这个 Dockerfile 的要点是gym0.25.2配合ale-py0.8.1。两者版本要匹配否则gym.make(PongNoFrameskip-v4)会报ModuleNotFoundError: No module named atari_py或直接说 ALE 初始化失败。opencv-python-headless比完整版轻很多云端和容器里都少一堆 GUI 依赖。代码包里那个10_nvidia.json和算法本身没关系它是 NVIDIA Container Runtime 在容器里挂载显卡驱动的宿主配置。普通课程设计根本不用改它只有跑 Docker 加 GPU 时才需要确认它被放在容器运行时的配置目录里。如果本机没有 NVIDIA 卡构建镜像和训练时都不要加--gpus让 PyTorch 自动走 CPU 即可。构建并进入训练环境docker build -t atari-dqn . docker run --rm -it --shm-size2g -v $(pwd):/work atari-dqn bash--shm-size2g是给共享内存扩容防止后续 PyTorch 或 TensorBoard 在容器内写临时数据时撞上默认的 64MB 限制-v $(pwd):/work把当前目录挂进容器训练出来的事件日志和 gif 直接留在宿主机上。如果以后要迁移到 GPU 服务器只需在docker run里加--gpus all算法代码一行不用动。2.2 预处理FrameSkip、灰度、84×84、FrameStackAtari 原始画面是 210×160 RGB60FPS直接送给神经网络没有任何好处。MNIH 2015 那套预处理到现在依然是 DQN 的默认姿势跳帧采样、灰度、缩放到 84×84、堆叠最近四帧。我一般把这些包成一个make_env函数避免训练、评估、录制 gif 三个地方各写一份import gym from gym.wrappers import AtariPreprocessing, FrameStack def make_env(env_id: str, seed: int 0, frame_stack: int 4): env gym.make(env_id, frameskip1) env AtariPreprocessing( env, noop_max30, frame_skip4, screen_size84, grayscale_obsTrue, grayscale_newaxisTrue, terminal_on_life_lossTrue, ) env FrameStack(env, num_stackframe_stack) env.reset(seedseed) env.action_space.seed(seed) return env env make_env(PongNoFrameskip-v4, seed0) obs, info env.reset() print(env.observation_space, env.action_space.n)这里gym.make传frameskip1是为了把跳帧控制权交给AtariPreprocessing如果两边都设frame_skip4实际间隔会变成 16 帧游戏看起来像幻灯片训练效率反而下降。noop_max30让每局从一个随机静置帧开始避免模型记住固定开局。terminal_on_life_lossTrue表示一条命结束就认为 episode 结束Breakout、Pong 这类游戏用它能显著加快早期学习。FrameStack返回的是LazyFrames它内部共享最近几帧的底层数组不复制数据。直接把LazyFrames丢进 replay buffer 能省大量内存这一点在轻薄本上几乎是救命功能。但 PyTorch 需要(B, C, H, W)形状所以喂给网络前要补一个转换函数import numpy as np import torch from gym.spaces import LazyFrames def state_to_tensor(obs): if isinstance(obs, LazyFrames): obs np.array(obs) if obs.ndim 3 and obs.shape[-1] 4: # HWC - CHW obs obs.transpose(2, 0, 1) return torch.from_numpy(obs).unsqueeze(0).float().div_(255.0)div_(255.0)是原地除以 255把像素值从 0~255 压到 0~1省一次拷贝。输入形状必须是(4, 84, 84)否则卷积层第一层就会报通道数不匹配。跑上面这段代码时只要打印state_to_tensor(obs).shape出来是torch.Size([1, 4, 84, 84])环境链路就是通的之后才值得继续写网络。3. 从 DQN 到 DDQN框架里三个关键函数的补全姿势这种课程设计项目通常不是从零手写全部代码而是给一个半成品框架让你补网络、补经验回放、补目标值函数。这三个点对应 DQN 和 DDQN 变体的本质区别读透它们后面调参才有方向。3.1 模型从 84×84×4 到动作数目的 Q 值Atari 上最稳定的网络结构从 2015 年沿用到现在三层卷积接一层全连接。前面的卷积层提取画面特征最后一层输出每个动作的 Q 值估计。下面这段是课程设计里最常见的写法import torch.nn as nn class DQN(nn.Module): def __init__(self, n_actions): super().__init__() self.conv nn.Sequential( nn.Conv2d(4, 32, kernel_size8, stride4), nn.ReLU(), nn.Conv2d(32, 64, kernel_size4, stride2), nn.ReLU(), nn.Conv2d(64, 64, kernel_size3, stride1), nn.ReLU(), ) self.fc nn.Sequential( nn.Linear(64 * 7 * 7, 512), nn.ReLU(), nn.Linear(512, n_actions), ) def forward(self, x): x self.conv(x) x x.view(x.size(0), -1) return self.fc(x)输入第一个维度是 4不是因为 Pong 只有四个动作而是FrameStack堆叠了最近 4 帧灰度图。84×84 输入经过第一层卷积变成 20×20第二层变成 9×9第三层变成 7×7所以全连接层输入是64 * 7 * 7。如果换了输入尺寸这里要跟着改很多“网络 forward 报维度错误”的问题都出在这个数。3.2 经验回放LazyFrames 与容量权衡经验回放replay buffer是 DQN 能把强化学习样本当成监督学习来用的核心。每一次交互塞进一个五元组训练时随机抽一批破坏样本时间相关性。代码可以很简洁from collections import deque import random import numpy as np class ReplayBuffer: def __init__(self, capacity: int): self.buffer deque(maxlencapacity) def push(self, state, action, reward, next_state, done): self.buffer.append((state, action, reward, next_state, done)) def sample(self, batch_size: int): batch random.sample(self.buffer, batch_size) states, actions, rewards, next_states, dones zip(*batch) states np.stack([np.array(s) for s in states]) next_states np.stack([np.array(ns) for ns in next_states]) return (states, np.array(actions), np.array(rewards, dtypenp.float32), next_states, np.array(dones, dtypenp.uint8))deque(maxlencapacity)自带覆盖旧数据的逻辑满了以后自动丢掉最老样本比手动维护指针省心。这里刻意不在push时把状态转成 float 数组而是把LazyFrames原样存进去等到sample需要变成 batch 时才调用np.array。如果提前转换一个状态约 110KB十万条就要 11GB 内存轻薄本撑不住。课程设计场景容量设100_000就够。MNIH 论文用一百万个样本那是建立在几天训练和足够显存的基础上在 8GB 内存的笔记本上先保证能跑完一个训练周期再考虑容量变大带来的稳定性。3.3 目标值DQN 和 DDQN 的差别只有一行DQN 和 DDQN 的区别在“选动作”和“评估动作”用不用同一个网络。DQN 直接从目标网络选最大值容易高估DDQN 用主网络选动作索引再用目标网络取对应 Q 值缓解高估。补全代码时多半会看到类似这样的要求def compute_targets(rewards, next_states, dones, model, target_model, gamma, double_dqnTrue): with torch.no_grad(): if double_dqn: next_actions model(next_states).argmax(dim1, keepdimTrue) max_next_q target_model(next_states).gather(1, next_actions).squeeze(1) else: max_next_q target_model(next_states).max(dim1)[0] targets rewards gamma * max_next_q * (1 - dones) return targetsdones必须转成float张量这样终止状态会把max_next_q清零避免给已经结束的 episode 追加未来收益。target_model每固定步数同步一次常见做法是每 1000 步执行target_model.load_state_dict(model.state_dict())。同步太频繁训练不稳定同步太少目标值陈旧loss 波动变大。我用下面这张表作为课程设计的默认值参数默认值说明replay_capacity100_000轻薄本友好batch_size32batch 太小方差大learning_rate1e-4Adam 下较稳gamma0.99折扣因子min_replay_size10_000先填充回放再训练target_sync_steps1_000target 网络硬同步初学时最容易忽略min_replay_size。如果一上来就训练buffer 只有几百条样本抽样几乎全是重复数据loss 乱跳然后又误以为是网络写错了。先纯探索跑一万步把 buffer 填满再开训练是最值得加的一行代码。4. TensorBoard 事件日志把训练曲线变成验收基准项目包里那几个events.out.tfevents.*文件不是垃圾是作者留下的 TensorBoard 实验记录。文件名格式是events.out.tfevents.时间戳.主机名。看到LAPTOP-NIRSSRC2重复出现说明 DQN 和变体的多次实验是在同一台笔记本上跑的。没有 GPU 也没有关系照样能拿这些日志当对照基线。4.1 一条命令启动 TensorBoard区分多条训练曲线先把所有事件文件放进同一个logs目录再启动面板mkdir -p logs mv events.out.tfevents.* logs/ tensorboard --logdirlogs --port6006 --samples_per_pluginscalars500--samples_per_pluginscalars500让 TensorBoard 对每个标量最多采样 500 个点曲线更平滑也不会因为事件文件太多而卡死。浏览器打开http://localhost:6006后左侧会列出每个事件文件的 tag。一般作者会记录训练回报train/reward和 eval 回报eval/reward勾选它们能看到早期段大起大落那是 epsilon 探索期的正常现象。注意不要只看平滑后的绝对值。TensorBoard 默认会做某种平滑缩放区间不同视觉差距很大。真正要比较的是两条曲线在相同步数上的相对位置如果 DDQN 的目标值曲线后期比 DQN 更稳或平均回报方差更小就说明“动作高估”确实被缓解这就是课程设计里能写进报告的一个结论。4.2 不打开浏览器直接用代码把事件文件读出来在一些无图形环境中我更习惯用EventAccumulator把事件里的标量抓成纯数据做数值比较from tensorboard.backend.event_processing.event_accumulator import EventAccumulator def load_events(path): ea EventAccumulator(path) ea.Reload() result {} for tag in ea.Tags().get(scalars, []): result[tag] [(e.step, e.value) for e in ea.Scalars(tag)] return result for p in [events.out.tfevents.1639646533.LAPTOP-NIRSSRC2, events.out.tfevents.1639664902.LAPTOP-NIRSSRC2, events.out.tfevents.1639671211.LAPTOP-NIRSSRC2]: data load_events(p) tag_list list(data.keys()) print(p, tag_list) if tag_list: tag tag_list[0] last data[tag][-1] print(f tag{tag} last{last})Reload()会把事件文件全部读入内存数据量不大时没问题。对返回的[(step, value)]列表可以直接取最后 20 个值算均值代替肉眼判断“到底有没有收敛”。如果发现某个事件文件里所有 tag 的 step 都只有几千说明那个训练皿跑到一半就被杀掉了——这和作者摘要里“训练到几万帧就会强行退出”是对得上的。4.3 用 gif 做定性判断用 eval 分数做定量判断record_dqn.gif和record_ddqn.gif是录制下来的智能体表现看一两遍就能直观感觉到算法会不会玩但要写进报告必须有数字。对着事件文件里 eval 相关 tag 拉出末尾若干个 episode 的均值就是验收用的分数。如果日志里没有 eval 分数就自己加一段循环每 5000 帧用epsilon0.01的贪心策略跑五局def evaluate(env, model, episodes5, epsilon0.01): rewards [] for _ in range(episodes): state, _ env.reset() total 0.0 while True: if np.random.random() epsilon: action env.action_space.sample() else: with torch.no_grad(): q model(state_to_tensor(state)) action q.argmax(dim1).item() state, reward, terminated, truncated, _ env.step(action) total reward if terminated or truncated: break rewards.append(total) return np.mean(rewards), np.std(rewards)epsilon0.01不代表完全贪心只是给极少探索空间防止因为环境初始化完全相同而卡在固定路径。打印结果时把 mean 和 std 一起写到 TensorBoard 里writer.add_scalar(eval/reward_mean, mean, step)。std 大说明这局游戏随机性高需要在报告里说明这也是评估策略时不能只看一张 gif 的原因。5. 避坑轻薄本跑 Atari DQN 的四个血泪教训这一段是作者在项目摘要里提到的绝望感来源。按我复现同类项目时的经验把这些坑写在前面比任何调参技巧都值钱。5.1 训练到几万帧内存打爆现象训练脚本跑了十几分钟终端直接打印Killed或者系统弹窗“内存不足”训练进程消失。更气人的是程序不是崩溃像是被系统杀掉基本没有报错信息。原因经验回放把状态存成了 float32 三维数组。一个 84×84×4 的 float32 状态约 113KB十万条接近 11.3GB。轻薄本共享内存根本不够几万帧后自然被杀。解决把LazyFrames原样放进 buffer只在采样时转成np.uint8网络输入的归一化放到forward里做。另外把replay_capacity从 1e6 降到 1e5在课程设计里影响并不大。你也可以加一句定期清理# 在每个训练 step 里监控缓冲对象大小 import sys buffer_bytes sum(getattr(buf, nbytes, 0) for buf, *_ in replay.buffer) if buffer_bytes 4_000_000_000: replay.buffer.clear()不一定必须加这段但至少心里有数回放占用的内存主要来自状态数组不要让网络输入的归一化发生在存储之前。5.2 训练一小时等于白等先跑轻量冒烟测试现象调一个超参数重新训练出去吃顿饭回来发现 reward 始终在随机水平附近徘徊。再改一个参数又是半小时交叉验证基本不可能。原因训练循环里带了整局渲染或未启用帧跳甚至是把record_episode和训练放在同一个环境里导致 1 FPS 被拉低到 0.2 FPS。加上 DQN 前期必须填充 replay buffer前 10k 帧都在“学习”之前。解决先把训练切成两个阶段。第一阶段用最简单的PongNoFrameskip-v4固定frame_skip4关闭 render训练 20 分钟看 loss 有没有下降趋势。第二阶段再跑完整实验。我一般写一个smoke_test.py只跑 500 次 update训练环境不录制视频只打印 loss 和最近 100 帧的均值# smoke_test.py for step in range(500): if len(replay.buffer) min_replay_size: collect_rollout(env, replay, epsilon1.0) continue batch replay.sample(batch_size) train_one_step(batch) if step % 100 0: print(step, train_loss.item())如果 500 次 update 后 loss 纹丝不动多半是 reward 归一化或网络结构出了问题这时候改代码成本很低。如果直接在四小时长训练末尾发现不对心态和机器都崩了。5.3 前期曲线乱跳不知道是探索还是 bug现象epsilon 从 1.0 慢慢降到 0.1 之前训练回报曲线像心电图忽上忽下。换不同随机种子跑两次同一个超参数给出的曲线完全不一样。原因这是 DQN 前期的固有随机性。epsilon 大动作大多是随机探索一个 episode 的长度和总回报方差都很大单条 episode 的回报不能代表算法能力。解决在训练循环里隔 N 帧用固定eval_epsilon0.01跑 5 局记录eval_mean。比较两次实验时必须对齐 eval 步数而不是训练步数。下面这个检查标准可以写进课程设计检查项通过标准eval reward 是否超过随机策略基线超过才说明学到东西相邻两次 eval 标准差是否过大std/mean 1 可接受1 万帧内曲线是否有局部下降前期下降正常不下降要查5.4done拆开后把目标值算错loss 还在涨现象env.step(action)返回 5 个值按老代码解包直接报not enough values to unpack改掉之后loss 不降反升甚至变成 NaN。原因新版 gym 把done拆成了terminated和truncated。terminatedTrue表示游戏真正结束truncatedTrue表示达到步数上限或环境主动打断两者对目标值的处理逻辑不同。统一用done terminated or truncated没问题但要理解它对 replay 的影响。解决新代码解包方式写成obs, reward, terminated, truncated, info env.step(action) done terminated or truncated在compute_targets里1 - dones用的是这个done。如果你希望更精确truncated时后续没有真实回报也可以当作done1处理但terminated无关时不能用mask0否则目标值被错误清零。检查办法很简单打印一个长度为 5 的 transition确认done是np.float32的 0 或 1再进入训练。6. 把课程设计收成作品gif 录制与验收自测清单提交 DQN 课程设计时代码能跑只是及格线真正抓眼球的是演示录像。项目包里的record_dqn.gif和record_ddqn.gif就是用录制回放生成的录制时千万不要直接拿训练环境边训练边录像否则 FPS 会掉到没法看。6.1 单独开一个 eval 环境录制 gifimport imageio def record_gif(env, model, path, fps20): frames [] obs, _ env.reset() while True: with torch.no_grad(): q model(state_to_tensor(obs)) action q.argmax(dim1).item() obs, _, terminated, truncated, _ env.step(action) frames.append(env.render(modergb_array)) if terminated or truncated: break imageio.mimsave(path, frames, fpsfps)这里单独传入一个不带AtariPreprocessing的 tiny render env或者至少把渲染环境与训练环境分开。fps20换算下来是 5 倍速左右因为原始帧率 60跳帧后实际玩一局要多长时间按 fps 调整录像速度。录完再用imageio.mimsave保存不要一帧一帧写 PNG 再合成麻烦且容易漏帧。6.2 提交前跑一套三分钟自测我给自己定过一张验收清单后来成了重复使用它的习惯自测项通过标准失败处理环境版本打印gym 0.25.2、ale-py 0.8.1重装对应版本输入形状(1, 4, 84, 84)检查 state_to_tensorreplay 采样batch 形状一致检查 LazyFrames 转换时机300 步冒烟loss 趋势下降关渲染、调 lreval 分数高于随机基线检查 target 同步频率gif 文件能正常打开且是彩色检查 render 环境这套自测完整跑一遍大概三分钟跑完再启动长训练心里就踏实了。如果连冒烟测试都过不去别急着调超参数先修代码超参数再怎么调也不会把有 bug 的目标值函数救回来。从那以后我复现 DQN、DDQN 或其他强化学习代码都会强制走一遍这个流程先固定环境版本再打印输入形状接着跑 300 步冒烟最后才上完整训练。那次几万帧内存爆掉的课设让我明白复杂算法最怕的不是短时间跑不出好结果而是你根本无法确认结果是“算法不行”还是“环境不对”。希望帮到你。本文还有配套的精品资源点击获取