迷宫问题与DQN：从零手写深度强化学习路径规划

简介深度强化学习DQNDeepQNetwork是深度学习和强化学习结合的经典算法。这份PDF资料围绕其原理与如何解决迷宫问题展开适合正在学习深度学习、人工智能或强化学习的开发者与研究人员。资料从Q-Learning的Q表存储局限切入解释了当状态和动作增多时Q表会指数级膨胀的问题并由此引入神经网络近似Q函数的DQN设计详细讲解Experience Replay经验回放、损失函数构造、epsilon-greedy探索策略等关键机制。迷宫案例中清晰定义了状态格子位置和动作移动方向并借助奖励反馈完成训练读者可从中理解智能体如何通过试错获得最优策略。资源包共1个文件为PDF文档压缩包约205KB内容包含原理推导与基于TensorFlow的源码讲解。目前已有1774人学习下载对快速上手DQN实战很有参考价值。1. 迷宫问题与DQN一个能落到代码里的深度强化学习起点很多人第一次接触深度强化学习DQN不是因为论文里的Atari游戏截图而是摊上一张迷宫地图想让一个智能体自己从入口摸到出口。迷宫问题的妙处在于——A*算法几毫秒就能给出最短路径但真正值得关心的不是路径本身而是“不依赖全局地图智能体能不能靠试错学会决策”。DQNDeep Q-Network把传统Q表换成一个神经网络让智能体在高维状态空间里也能估计“当前状态下每个动作的长期回报”而栅格迷宫恰好是状态、动作、奖励都足够清晰的最小试验场。这篇笔记适合第一次跑深度强化学习源码的人也适合已经跑通但仍想把DQN往路径规划方向迁移的从业者。后面每一段代码、每一个超参数都是可以直接抄走的。2. 为什么迷宫问题适合用DQN来解从Q-Learning到深度Q网络2.1 经典Q-Learning怎么解迷宫一张Q表就能走通小地图迷宫问题在强化学习里最常被当作“表格型MDP”来解。地图的每个格子是状态上下左右是动作走到终点拿到正奖励、撞墙拿到负奖励目标是让长期累积回报最大。传统做法是维护一张Q表行是状态、列是动作表里每个数表示“在这个状态做这个动作未来能拿多少回报”。用Q-Learning更新这张表核心就一行Q[s, a] lr * (r gamma * max(Q[s_next, :]) - Q[s, a])这行更新式左边的Q[s,a]是旧估值括号里的部分是“新观测到的真实回报上限”和“旧估值”的差俗称TD误差。TD误差为正说明之前低估了这个动作调大一点为负则反过来。lr控制修正步长gamma是折扣因子越接近1表示越看重长期回报。在小迷宫上用Q表没有问题。5x5的地图加上上下左右四个动作Q表只需要5x5x4100个数值几百轮迭代就能收敛。但这里有个隐含前提状态必须能被离散成一个有限集合而且集合不能太大。一旦状态是连续坐标或者感知输入变成摄像头图像Q表的规模就失控了。一个300x300的格子地图Q表条目是300x300x436万勉强还能硬扛但状态换成图像每个状态是成千上万个像素的组合表格式存储根本没有可能。深度Q网络做的事情很直接不存表用一个神经网络去近似Q函数输入是状态特征输出是每个动作的Q值。2.2 神经网络接管Q函数经验回放和目标网络撑起DQN直接把Q-Learning里的Q表替换成神经网络训练会非常不稳定。原因有两个这也是DQN里两个关键机制存在的意义。第一个问题是样本相关性。智能体在迷宫里走出的轨迹前后状态高度相关——上一步在坐标(2,3)下一步大概率在(2,2)或(3,3)。如果用这些连续样本做在线梯度下降网络会在很小一块状态空间上反复覆盖把学好的东西冲掉。经验回放的做法是把每一步产生的五元组(state, action, reward, next_state, done)存进一个固定大小的缓冲区训练时随机抽一批出来用。随机采样的目的是打乱时间相关性让每次梯度更新用的数据尽量独立同分布。第二个问题是目标在漂移。再看一眼更新式里的max(Q[s_next, :])这个值也是用同一个网络算出来的。网络参数更新了一步目标也跟着变化等于狗追自己的尾巴损失函数本身一直在动训练自然震荡。目标网络就是再复制一份网络参数训练时只用这份“旧网络”去计算max(Q[s_next, :])旧网络的参数固定几百步后再整体同步一次。把训练网络和计算目标的责任分开延迟追踪让目标在单次更新里保持静止。把这两个机制组合起来DQN的实际训练流程就变成智能体按epsilon-greedy策略走迷宫每一步产生的样本进回放池池子攒够一批后随机采样用当前网络算Q值、用目标网络算目标算TD误差反向传播更新当前网络每隔N步把当前网络参数复制给目标网络。把上面这个流程画成一张DQN框图从环境拿状态进当前网络选动作后存样本再从回放池采样计算损失并反向传播最后定期同步目标网络这张图就是比公式更直观的记忆锚点。小迷宫里还有一个常被忽略的优势验证成本低。状态是坐标(x,y)两维网络只需要很小的全连接结构一台普通笔记本CPU跑600个episode只要几分钟。想验证一个新想法比如改奖励函数、换Double DQN、调目标网络更新频率十几分钟就能出一组对比数据。这个反复折腾的性价比是迷宫能成为DQN入门标配的真正原因。2.3 解迷宫不一定非要用DQN三种方案的路演对比不少读者会问迷宫用A或者BFS不更简单吗确实是。A在已知静态地图上不仅简单还能保证找到最短路径。但A*的前提是拿到完整地图、地图不随时间变化而DQN从设计上就不依赖这两条。它把问题定义为“在不知道地图的情况下靠一次次试错学到策略”。这也是强化学习和传统路径规划最根本的分野。再放到深度强化学习算法列表里去对比DQN适合的是离散动作、基于值估计的场景策略梯度家族比如PPO、A2C更适合连续动作控制比如机器人关节力矩。迷宫动作空间就是上下左右四个离散选择用DQN比用策略梯度直接得多。传统Q-Learning的问题则在于状态规模一大就无力扩展。三者的适用边界可以这样概括算法对地图的依赖状态空间输出形式适合场景A*需要完整已知地图离散具体路径静态环境、有全局规划需求Q-Learning不依赖地图离散且小Q表状态数量可控的小环境DQN不依赖地图离散或连续Q函数近似状态空间大、感知输入复杂对第一次接触深度强化学习源码的人来说DQN的复杂度刚好卡在“看得懂公式、跑得通代码”的位置。公式层面只需要理解TD误差和两个稳定机制代码层面只需要修改Q表那一行和神经网络结构。门槛再低可能就没有“深度”的部分了门槛再高新手又容易陷在调参里出不来。3. 迷宫环境建模设计DQN能学懂的状态、动作和奖励3.1 迷宫地图与状态定义用二维数组描述地图最直接先定义地图。常见做法是用一个二维numpy数组0表示可通行空地、1表示墙、2表示终点起点固定为(0,0)。import numpy as np MAZE np.array([ [0, 1, 0, 0, 0], [0, 1, 0, 1, 0], [0, 0, 0, 1, 0], [0, 1, 1, 0, 0], [0, 0, 0, 0, 2] ]) START (0, 0)初版把地图硬编码成常量就行方便调试。等训练通路了再考虑把地图生成逻辑抽出去改成随机迷宫或者从文件加载。不要把第一步就做成“万能加载器”那会分散你对DQN本身的注意力。状态表示有两种做法。第一种是直接把智能体坐标(x,y)作为状态输入二维向量网络学习负担最小第二种是对每个格子做one-hot编码生成一个25维向量保留了绝对位置信息但维度更高。迷宫例子我一般用坐标直传因为Q值函数在坐标空间里足够平滑。后续如果要升级到“局部视野感知”再改用图像输入那属于第6章的扩展方向。3.2 动作空间与撞墙逻辑撞墙不结束留在原地拿负奖励动作空间固定为四个上、下、左、右。在代码里用方向增量表示上(-1,0)、下(1,0)、左(0,-1)、右(0,1)用索引0到3分别对应。接下来实现MazeEnv类class MazeEnv: def __init__(self, mazeMAZE, startSTART, max_steps100): self.maze maze self.start start self.max_steps max_steps self.reset() def reset(self): self.agent_pos self.start self.steps 0 return np.array(self.agent_pos, dtypenp.float32) def step(self, action): delta [(-1, 0), (1, 0), (0, -1), (0, 1)][action] x, y self.agent_pos nx, ny x delta[0], y delta[1] # 越界或撞墙位置不变给一个固定负奖励 if not (0 nx self.maze.shape[0] and 0 ny self.maze.shape[1]) \ or self.maze[nx][ny] 1: return np.array(self.agent_pos, dtypenp.float32), -0.5, False, {} self.agent_pos (nx, ny) self.steps 1 # 到达终点 if self.maze[nx][ny] 2: return np.array(self.agent_pos, dtypenp.float32), 10.0, True, {} # 步数超限强制结束 if self.steps self.max_steps: return np.array(self.agent_pos, dtypenp.float32), -1.0, True, {} # 普通走一步 return np.array(self.agent_pos, dtypenp.float32), -0.04, False, {}撞墙处理是整个环境里最容易埋坑的地方。如果撞墙后返回负奖励但步数不增加智能体可能学会“原地撞墙刷惩罚”来逃避决策如果撞墙后按普通步数惩罚处理网络又很难区分撞墙和正常走路。所以代码里给撞墙单独设了-0.5比普通步行的-0.04大一个量级让模型明显感知到这是个无效动作。更常见的一个错误是“撞墙即终止”。在小迷宫里这会让智能体变得极度保守因为一次撞墙等于直接结束这一轮它宁可站着不动也不冒险。实际迷宫问题里撞墙应该被定义为一步无效移动而不是终局事件。本环境里撞墙后位置不变、步数照常累加既保留惩罚信息又不制造“撞墙等于失败”的错误等价关系。3.3 奖励设计终点、步数、碰撞三档信号怎么配奖励参数是整个环境里对训练结果影响最大的部分没有之一。迷宫Demo常用的起点参数是这样一档参数取值设计意图到达终点10主目标信号要能覆盖全程负惩罚累积普通行走-0.04鼓励少绕路但不至于让智能体不敢动撞墙-0.5明显惩罚无效动作最大步数100防止震荡死循环为什么终点奖励取10而不是1因为迷宫最短路径可能只要五六步绕路可能要翻倍到十几步。步数惩罚-0.04只积累-0.8左右如果终点奖励只给1绕路依然是可行策略模型学出来就会是绕远路。奖励设计的第一原则是正奖励要能覆盖完成任务过程中可能累积的负奖励让“到达终点”这件事在长期回报里始终是全局最优。为什么步数惩罚不取-1如果取-1短路径长期回报是“10-64”看起来也成立但训练初期智能体频繁撞墙累积的负奖励可能到-20甚至更低TD误差的量级被拉大梯度容易冲出去。把步数惩罚压到-0.04每一步的TD误差通常控制在0.1以内训练过程平稳非常多。如果迷宫换成10x10甚至更大靠“到达终点”这一条稀疏信号很难在有限步数里充分学习。常见做法是加一个“向终点靠近”的势能引导每走一步如果离终点更近了就给一个小正奖励。这个技巧对训练速度提升立竿见影但要注意正式项目里乱加shaping有可能诱导智能体为了拿“靠近奖励”而牺牲真正目标小Demo里用着没事用到真实任务前需要重新审视。# 可选在step()的普通行走分支里追加势能奖励 goal (4, 4) dist_before abs(x - goal[0]) abs(y - goal[1]) dist_after abs(nx - goal[0]) abs(ny - goal[1]) reward 0.05 * (dist_before - dist_after)曼哈顿距离加上终点坐标硬编码只适合当前这张固定地图。我一般会把它直接写进MazeEnv的__init__参数里这样换地图时不用改多处代码。4. DQN训练源码拆解从网络定义到能跑的完整训练循环4.1 网络结构与超参数两三层全连接就够用先写网络。状态是二维坐标(x,y)输入两个神经元迷宫有四个方向输出四个神经元。中间用两层64维全连接加ReLU激活不要一上来就堆上百层迷宫的价值函数很平滑MLP足够表达。import random from collections import deque import numpy as np import torch import torch.nn as nn import torch.optim as optim class DQN(nn.Module): def __init__(self, state_dim2, action_dim4, hidden_dim64): super().__init__() self.net nn.Sequential( nn.Linear(state_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, action_dim) ) def forward(self, x): return self.net(x)提示下面这段训练源码假设你已经把第三章的MazeEnv和MAZE定义保存在同一个.py文件里。网络的定义没有玄学。state_dim是2对应坐标action_dim是4对应上下左右hidden_dim取64是为了让两层网络有足够容量去拟合从坐标到Q值的映射。迷宫总共25个状态理论上一个线性层都能拟合但64维能让训练过程更快、更稳对新手更友好。关键超参数先给一张表后面每项都会解释参数取值说明学习率 lr1e-3Adam默认迷宫基线足够折扣因子 gamma0.99重视长期回报batch_size64回放采样批次replay_buffer_size20000存下大半个训练过程target_update_interval200步目标网络硬更新间隔epsilon_start1.0初始探索率epsilon_end0.01最低探索率epsilon_decay0.995每轮episode后乘一次num_episodes600总训练轮数4.2 经验回放与目标网络两块稳定器的代码落实经验回放直接用deque实现最多存20000个最近样本满了自动丢弃最老的。不要自己写list加索引deque的maxlen行为在这里就是标准答案。replay_buffer deque(maxlen20000) policy_net DQN() target_net DQN() target_net.load_state_dict(policy_net.state_dict()) optimizer optim.Adam(policy_net.parameters(), lr1e-3)target_net.load_state_dict(policy_net.state_dict())是硬更新把当前网络参数整体复制过去。硬更新的优点是实现简单、行为可预期在迷宫这种小场景里完全够稳。如果后续换到复杂环境可以换成软更新让目标网络缓慢追踪当前网络# 软更新tau通常取0.005 for target_param, param in zip(target_net.parameters(), policy_net.parameters()): target_param.data.copy_(0.005 * param.data 0.995 * target_param.data)软更新不会像硬更新那样让目标网络瞬间变化稳定性更好但也会拖慢目标收敛速度。在迷宫Demo里我优先用硬更新加200步间隔简单清晰收敛也快。换环境以后才考虑软更新。4.3 训练主循环与epsilon-greedy策略这是整个例子的核心部分。完整训练循环如下def train_dqn(): env MazeEnv() policy_net DQN() target_net DQN() target_net.load_state_dict(policy_net.state_dict()) optimizer optim.Adam(policy_net.parameters(), lr1e-3) replay_buffer deque(maxlen20000) gamma 0.99 batch_size 64 global_step 0 epsilon 1.0 def select_action(state, epsilon): if random.random() epsilon: return random.randrange(4) with torch.no_grad(): q_vals policy_net(torch.FloatTensor(state)) return int(q_vals.argmax()) for episode in range(1, 601): state env.reset() total_reward 0.0 done False while not done: action select_action(state, epsilon) next_state, reward, done, _ env.step(action) replay_buffer.append((state, action, reward, next_state, done)) state next_state total_reward reward global_step 1 if len(replay_buffer) batch_size: batch random.sample(replay_buffer, batch_size) states torch.FloatTensor([x[0] for x in batch]) actions torch.LongTensor([x[1] for x in batch]).unsqueeze(1) rewards torch.FloatTensor([x[2] for x in batch]).unsqueeze(1) next_states torch.FloatTensor([x[3] for x in batch]) dones torch.FloatTensor([x[4] for x in batch]).unsqueeze(1) # 当前网络输出Q值gather取出实际执行动作对应的Q q_now policy_net(states).gather(1, actions) # 目标网络计算下一个状态的最大Q值整体不参与反向传播 with torch.no_grad(): q_next target_net(next_states).max(dim1, keepdimTrue).values q_target rewards gamma * q_next * (1 - dones) loss nn.functional.mse_loss(q_now, q_target) optimizer.zero_grad() loss.backward() optimizer.step() # 每200步把当前网络参数同步给目标网络 if global_step % 200 0: target_net.load_state_dict(policy_net.state_dict()) epsilon max(0.01, epsilon * 0.995) if episode % 50 0: print(fepisode {episode:3d}, reward {total_reward:6.2f}, epsilon {epsilon:.3f}) torch.save(policy_net.state_dict(), dqn_maze.pt)逻辑上走一遍select_action先按epsilon决定是随机探索还是按网络Q值贪心。样本进回放池池子够64个以后才触发训练。训练时用gather(1, actions)取出网络输出里对应动作的那个Q值q_target则用目标网络算下一个状态的最大Q值然后乘上(1 - dones)。dones为1表示这一轮已经结束后续没有回报所以目标直接等于当前奖励。几个参数需要重点说。batch_size64是回放采样量太小梯度噪声大太大训练次数变少64在迷宫里是平衡点。gamma0.99表示智能体愿意为长远目标放弃眼前的小惩罚如果调小到0.9可能学出只关注几步内收益的短视策略。epsilon从1.0开始每轮衰减0.995到第600轮大约0.049前期充分探索后期基本按学到的策略走。训练完成后保存的dqn_maze.pt只包含网络参数不包含回放池和优化器状态。做推理只需要网络参数这个文件几KB非常轻量。正常在一个5x5小迷宫里跑完600轮普通笔记本CPU大约两三分钟不需要GPU。5. 避坑排查DQN训练迷宫最常见的5个翻车现场5.1 Q值不收敛loss忽高忽低现象训练过程loss像心电图完全看不出下降趋势打印出来的Q值过一段时间就会跳到很大的正数或负数。原因最常见的是学习率和奖励尺度的组合不匹配。步数惩罚-0.04、终点奖励10TD目标在几个量级之间横跳如果学习率取了1e-2一步梯度更新就能把参数推出正常区间。其次是回放池里正负奖励样本比例严重失衡起点附近的样本几乎全是负奖励终点样本太少。解决先把学习率降到1e-3不行再降到3e-4。也可以把奖励整体缩放到[-1, 1]量级比如终点奖励改1、步数惩罚改-0.05、撞墙改-0.2。调参时先固定随机种子再动学习率一次只改一个变量。这一步最考验耐心也是最容易劝退新手的关卡。5.2 智能体原地罚站就是不出门现象训练完回放轨迹发现智能体在起点转圈或者在某个墙角反复撞墙总步数冲满100被强制结束每轮reward稳定在-4左右。原因三条问题叠加。其一撞墙惩罚-0.5相对步数惩罚-0.04太大初期网络不知道终点在哪所有动作都在亏分学出来的Q值全是负的最终收敛到“哪个动作都差不多”的躺平状态。其二epsilon衰减太快到300轮附近已经基本全贪心探索不够充分。其三终点奖励虽高但稀疏网络迟迟没吃到正样本。解决把撞墙惩罚从-0.5调到-0.1步数惩罚维持-0.04终点奖励升到20给普通行走分支加上3.3里的势能奖励epsilon_decay改成0.998让探索期拉长。这三件事要一起调单独调任何一个都可能继续原地打转。5.3 到得了前半程到不了终点稀疏奖励的边界现象智能体从起点能走出一大段路径但总是在某个区域反复打转就是到不了终点。打印Q值会发现终点附近的动作值没有被正确学高。原因小迷宫这个问题不明显换到10x10或更大的地图到达终点是一个低频事件回放池里绝大多数都是普通步行的-0.04样本终点正样本占比可能万分之一都不到梯度被大量负样本淹没。解决给环境加势能奖励是性价比最高的方案代码在3.3小节已经给过。用曼哈顿距离做启发式每靠近终点一步多给0.05训练速度立刻上一个台阶。另外可以把max_steps从100提高到200给智能体更多探索窗口。等确认能稳定到终点以后再考虑慢慢降低势能奖励的系数。5.4 目标网络更新太频繁引起震荡现象训练前一两百轮loss正常之后Q值突然全部飙到正负很大的数智能体行为完全乱掉而且无法恢复。原因目标网络同步间隔设得太短。比如每10步同步一次目标网络相当于跟着当前网络实时变两个网络失去彼此约束TD误差里的目标和预测同时更新形成正反馈Q值发散。这是DQN里很典型的“自举过度”问题。解决把同步间隔从10步调大到200到500步。如果仍然震荡改用软更新替代硬更新tau取0.005tau 0.005 for target_param, param in zip(target_net.parameters(), policy_net.parameters()): target_param.data.copy_(tau * param.data (1 - tau) * target_param.data)这段代码放在优化器step之后即可删掉原来的硬更新代码。软更新只是让目标网络平滑追踪当前网络不会瞬间跳变引发震荡。迷宫场景我优先用硬更新加200步间隔调整起来更直观。5.5 完全一样的代码两次训练结果一个天上一个地下现象重启脚本再跑一次明明代码完全没动第一次能稳定到终点第二次就在起点罚站或者训练曲线明显变差。原因这是典型的强化学习玄学现场。随机种子同时影响网络权重初始化、epsilon随机探索、回放采样同一套超参数在不同随机种子下表现差异巨大。迷宫状态空间小这个差异还会被放大。解决调试阶段固定三重种子random.seed(42) np.random.seed(42) torch.manual_seed(42)固定种子以后再调参确认某个修改确实有效再把种子放开跑5次取平均验证稳定性。这是我做强化学习项目一直保留的基线习惯迷宫、机器人导航、物流调度都能用上。不固定种子的调参结论基本都是靠运气没有参考价值。6. 把迷宫DQN升级成路径规划实验台验证与扩展6.1 用统计胜率替代单一轨迹判断模型好坏训练结束后不少新手会写一个可视化循环跑一遍看到智能体到终点就宣布训练成功。这个方法不够严谨一次demo跑通可能只是运气好尤其是epsilon还有残留时。我一般会写一个固定的统计评估脚本def evaluate(env, policy_net, episodes50): win 0 win_steps [] for _ in range(episodes): state env.reset() done False steps 0 while not done: with torch.no_grad(): action int(policy_net(torch.FloatTensor(state)).argmax()) state, reward, done, _ env.step(action) steps 1 if done and reward 10.0: win 1 win_steps.append(steps) avg_steps np.mean(win_steps) if win_steps else float(inf) return win / episodes, avg_steps评估时一定要关掉epsilon直接把网络输出的argmax当动作。跑50次统计成功率和平均步数跟随机策略对比随机策略成功率接近0训练后的策略成功率应该在80%以上。平均步数越接近这个地图的最优步数说明学得越精。这两组数据比一条可视化轨迹有说服力得多。6.2 Double DQN一行改动修掉Q值过估计问题DQN用max算目标天然会把Q值估计得偏高。迷宫问题里终点奖励加势能引导后过估计通常不明显但地图换成随机生成的复杂迷宫或者环境带动态障碍时过估计就会露出马脚——训练曲线出现“前期已经能到终点后期又开始频繁撞墙”的倒退。Double DQN的改动就是一小段with torch.no_grad(): best_action policy_net(next_states).argmax(dim1, keepdimTrue) q_next target_net(next_states).gather(1, best_action) q_target rewards gamma * q_next * (1 - dones)用当前网络选动作、目标网络评估动作值把选择和评估拆开缓解过估计。这个改动在迷宫里属于“有提升但不是决定性”的优化但理解它对后续读Dueling DQN、Rainbow这些进阶算法帮助很大。6.3 从坐标输入升级到视觉状态的扩展方向坐标直传让网络学到的是每个固定位置到动作的映射一旦地图尺寸或布局改变模型要整体重学。真实路径规划场景里智能体拿到的通常不是绝对坐标而是局部视野。最简单的升级是给输入加一个固定大小的局部邻域矩阵把智能体周围3x3格子的地形编码成9维输入再加上目标相对位置共11维网络结构几乎不用改但泛化能力会好一个量级。这也是“DQN路径规划”从Demo走向真实场景的一条现实路径。我自己做类似实验时有个习惯每改一个超参数或网络结构先固定随机种子跑一遍评估脚本拿一组数字再放开种子跑5次取均值。迷宫小5次训练加起来也就十几分钟成本完全可以接受。这种小成本验证方法在你后面迁移到机器人导航、仓储调度这些方向时会替你省下大量返工时间。希望帮到你。本文还有配套的精品资源点击获取