多智能体强化学习稀疏奖励与终点判定实战

简介这份资源是腾讯开悟平台「重返秘境」赛题的深度强化学习模型工程包面向参与开悟赛事、学习深度强化学习的开发者与在校学生尤其适合已完成基础DQN实现、需要参考完整工程结构与训练配置来复现或改进方案的中高级学习者。压缩包共56个文件、约4.69MB以31个Python源码为主辅以11个pyc编译文件、toml配置与yaml环境定义、pkl模型检查点及签名、id列表等元数据文件覆盖从算法实现到运行配置的完整链路。目录中feature、model、algorithm三层分离分别承载特征定义、网络结构与智能体逻辑并给出target_dqn、dqn、diy三套并行的参考实现便于横向对比目标网络、基础DQN与自研改动之间的差异conf与learner、actor、aisrv等配置项则展示了训练框架的参数组织方式。附带的model.ckpt-6853.pkl与kaiwu.json可直接加载查看训练进度帮助读者理解检查点保存与恢复流程。该资源已有2599人学习下载可作为赛题复现、目录结构借鉴与调参排错的直接参考。1. 只认终点线的赛题为什么“会走”和“走到”是两件事“重返秘境”这类多智能体探索任务规则读到最后一句你会发现判分标准朴素得有点残酷智能体从出生点出发在有限步数内抵达终点就算成功。标题里“仅到终点”四个字说的就是这件事把沿途的收集、解锁、绕路全部降级成过程量唯一有效的成功信号是终点判定。听起来比“既要又要”简单做起来是另一回事。我见过不止一个队伍训练出的智能体能在空地上丝滑绕圈一进拐角就开始撞墙到达率长期趴在个位数训练日志里的回报曲线却在稳步上升。这篇就把“会走”到“走到”之间那几步拆开讲观测怎么设、稀疏奖励怎么补、训练循环怎么搭、评估口径怎么定以及我在终点判定上踩过的几次坑。2. 把重返秘境拆成可训练的决策过程观测、动作与终止判定动手写训练脚本之前先坐下来把环境拆成一个显式的马尔可夫决策过程。这一步偷懒后面所有调参都是在给一个定义不清的目标函数做玄学优化。重返秘境这类地图探索任务最容易被忽略的是它的部分可观测性智能体只能看到视野半径内的局部栅格看不到整张地图也看不到队友视野里的东西。你把它当成全观测来喂策略就会学成一张地图一张策略换一张图立刻失效。所以建模的第一步不是选算法而是决定“哪些信息允许进观测”。2.1 观测里该放什么把“我在哪”换成“我相对谁在哪”我一般的做法是把观测拆成三块局部栅格、实体相对位置、全局标量。局部栅格以智能体自身为中心取 7×7 的窗口通道上区分墙、空地、终点、门、队友实体相对位置给队友和终点的行、列偏移量除以地图边长做归一化全局标量放剩余步数占比、当前阶段编号、智能体 id 的 one-hot。这三块拼起来大概一百多维不算大但每一项都有明确的语义出问题的时候能单独拿出来看。绝对坐标是典型的毒药。很多实现图省事直接把智能体的 (row, col) 塞进观测训练初期收敛飞快因为网络可以死记“第 3 行第 5 列往右走”。等到评估集换成 12×12 的地图输入维度对不上或者对上了但分布完全偏移到达率直接归零。相对位置则天然具备平移不变性同样的拐角出现在地图任何角落策略看到的输入模式都是一致的——这也是后面做课程学习能平滑迁移的前提。字段维度归一化方式是否必需局部栅格 7×7×5245通道二值必需终点相对偏移2除以地图边长必需队友相对偏移2×(N-1)除以地图边长多智能体必需剩余步数占比1除以 max_step强烈建议上一步动作5one-hot建议智能体 idNone-hot参数共享时必需绝对坐标2除以地图边长不要放帧堆叠是另一个容易漏的点。单帧观测里没有速度信息智能体分不清“我刚从左边进来”还是“我正准备往左走”在窄通道里会表现出左右抖动。叠 4 帧之后这种抖动基本消失代价是输入维度翻四倍前几层卷积的参数量要相应压一压。归一化也别偷懒剩余步数、相对偏移这类连续量必须缩到 [-1, 1]栅格和 one-hot 保持 0/1别把两类量混在一起扔进网络否则 LayerNorm 会把有意义的稀疏信号抹平。2.2 五个动作键与动作掩码约束要贯穿训练和评估动作空间我倾向用 5 个离散动作上、下、左、右、停。连续动作在网格地图上没有意义反而让策略在墙边学出一堆无效的微小位移。离散化之后一个必须配套的东西是动作掩码把会导致撞墙的动作在采样前屏蔽掉让策略把容量花在“往哪走”而不是“别撞墙”上。这一步对稀疏终点奖励的任务尤其关键因为早期随机策略撞墙的概率极高大量样本浪费在无效探索上。import numpy as np # 动作约定0上 1下 2左 3右 4停 DIRS {0: (-1, 0), 1: (1, 0), 2: (0, -1), 3: (0, 1)} def build_action_mask(grid, pos): grid: HxW 的 0/1 占用图1 表示障碍或不可通行 pos: (row, col) 当前智能体位置 返回: shape(5,) 的 float32 掩码1 表示可选0 表示屏蔽 mask np.ones(5, dtypenp.float32) r, c pos for a, (dr, dc) in DIRS.items(): nr, nc r dr, c dc # 越界或撞墙 - 屏蔽该方向 if nr 0 or nr grid.shape[0] or nc 0 or nc grid.shape[1]: mask[a] 0.0 elif grid[nr, nc] 1: mask[a] 0.0 # 四面被围时保底留一个“停”避免全零掩码导致 softmax 除零 if mask[:4].sum() 0: mask[4] 1.0 return mask这段代码本身没什么难度难的是后面两个细节。第一掩码要加到 logits 上再做 softmax具体是把mask 0的位置填一个很大的负数比如 -1e9而不是乘 0乘 0 会让无效动作的概率变成一个非零常数采样时仍有可能选中。第二训练时的掩码和评估时的掩码必须来自同一份实现。我吃过一次亏训练脚本里用了环境返回的action_mask评估脚本图省事自己重算了一遍两边的越界判定差了一个和结果评估时智能体在边界格子上有概率选择越界动作被环境判为无效步到达率凭空掉了十几个点。这种 bug 不会报错只会让你的评估数字变成一个黑匣子。动作重复frame skip也值得一提。每一步都重新决策会让策略过度关注短期位移把动作重复设成 2 到 4 步智能体一次决策走多格长距离路径上的决策序列变短信用分配会容易不少。代价是精细的拐角操作变难所以我在课程前期用 1地图变复杂之后逐步提到 2而不是一上来就固定。2.3 终止判定与“仅到终点”的判定口径“仅到终点”这四个字的工程含义是奖励函数里只保留终点项其余全部置零。到达给 1超步给 0其余中间状态一律 0。这么写的好处是目标极其干净坏处是稀疏性被拉满——一张 12×12 带障碍的地图随机策略撞到终点的概率大概是千分之一量级靠纯随机采样几乎学不动。所以终止判定这块要写得非常明确后面所有奖励塑形都挂在它上面。def step_judge(agents_pos, goals, step_cnt, max_step): agents_pos: list[(r, c)] 每个智能体的当前位置 goals: list[(r, c)] 每个智能体对应的终点 step_cnt: 当前已用步数 max_step: 单局步数上限 返回: (done, reward, info) reached [p g for p, g in zip(agents_pos, goals)] # 口径一任一智能体到达即成功仅到终点的最宽口径 if any(reached): return True, 1.0, {reason: reached, steps: step_cnt} # 口径二全员到达才成功。按赛题规则二选一别两套混用 # if all(reached): # return True, 1.0, {reason: all_reached} if step_cnt max_step: return True, 0.0, {reason: timeout, steps: step_cnt} return False, 0.0, {reason: running}三个参数决定这段逻辑的行为边界。goals的比较必须是整数元组相等不要用欧氏距离小于某个阈值来判定浮点误差会让某些格子永远判不中而且这种失败是静默的日志里只看到到达率上不去查半天以为是策略问题。max_step给多少要看地图直径经验值是理论最短路步数的 2.5 到 3 倍给太松智能体会学会“拖着不走”给太紧则把本来能到的轨迹判成超时。any还是all必须和赛题规则严格对齐我见过把all写成any的队伍训练出来的智能体只让一个成员冲线其余原地待命评估时按全员判定直接不合格。3. 稀疏终点奖励怎么破势能塑形、课程与探索预算纯稀疏奖励在中等以上地图上基本训不动这一点没有争议。有争议的是怎么补。我试过三种路子距离势能塑形、好奇心奖励、成功轨迹回放。结论是势能塑形性价比最高但系数稍大就会翻车好奇心奖励在网格任务上噪声太大不推荐成功轨迹回放适合后期精修不适合冷启动。下面把能直接抄的部分写清楚。3.1 势能塑形只加不改变最优策略的那一项势能塑形的好处是有经典结论兜底只要塑形项写成gamma * phi(s) - phi(s)的形式最优策略不变你补的只是学习信号不是目标本身。这比自己拍脑袋加“靠近终点给 0.01”稳得多后者会让智能体学会在终点附近来回横跳刷分。phi我一般取负的 BFS 最短路距离乘一个系数 alpha距离越近势能越高。from collections import deque import numpy as np DIRS [(-1, 0), (1, 0), (0, -1), (0, 1)] def bfs_dist(grid, goal): 从终点反向 BFS得到每个可通行格到终点的最短路步数 H, W grid.shape dist np.full((H, W), np.inf, dtypenp.float32) dist[goal] 0.0 q deque([goal]) while q: r, c q.popleft() for dr, dc in DIRS: nr, nc r dr, c dc if 0 nr H and 0 nc W \ and grid[nr, nc] 0 and dist[nr, nc] np.inf: dist[nr, nc] dist[r, c] 1.0 q.append((nr, nc)) return dist def shaping_reward(prev_pos, next_pos, dist_map, gamma0.99, alpha0.05): prev_pos / next_pos: (r, c) dist_map: bfs_dist 的输出不可达格为 inf需提前截断 alpha: 塑形强度建议 0.02 ~ 0.05超过 0.1 容易学出绕圈行为 d_prev np.nan_to_num(dist_map[prev_pos], posinf1e3) d_next np.nan_to_num(dist_map[next_pos], posinf1e3) phi_prev -alpha * d_prev phi_next -alpha * d_next return gamma * phi_next - phi_prev三个参数各有讲究。gamma必须和训练时的折扣因子完全一致写成 0.95 而训练用 0.99理论上的策略不变性就破了智能体会表现出短视。alpha是唯一需要手调的我的经验区间是 0.02 到 0.050.01 以下几乎感觉不到加速0.1 以上智能体会沉迷于“每步都让势能变大”宁可绕远路也不愿意承担一次势能下降的拐角。dist_map要在环境 reset 时重算不要在每步都跑一遍 BFS一张 16×16 的地图虽然只要几毫秒但并行 32 个环境乘上百万步就是实打实的时间。还有一个必须处理的边界如果某些格子对终点不可达被墙完全封死dist_map里是inf直接代入会得到inf - inf nan一路污染 advantage。上面代码里用np.nan_to_num截断到 1e3 是一种做法更稳的是在环境构建阶段就把不可达区域标出来这些格子上的塑形项直接置 0让智能体自己去学“那里不能去”。3.2 课程学习地图尺寸、障碍密度、智能体数量的三轴推进塑形解决的是“有没有梯度”课程解决的是“梯度难不难”。重返秘境这类任务冷启动直接上最大地图是最常见的自杀式操作。我一般按三条轴推进地图边长从 8 到 16障碍密度从 0 到 0.25智能体数量从 1 到 3。每次只动一条轴另外两条保持不变否则你根本不知道是哪个因素导致的性能跳变。阶段地图边长障碍密度智能体数晋级阈值近 200 局到达率S080.0010.90S180.1510.80S2120.1510.70S3120.2520.55S4160.2530.40晋级阈值按到达率而不是平均回报这是关键。回报里混着塑形项塑形项大不大取决于 alpha 和地图尺寸跨阶段不可比到达率是唯一跨阶段可比的量。阈值也不能定太死0.9 这种数字在小地图上容易达到到了 S3 可能卡两周我的做法是把阈值设在“当前策略明显收敛但还没过拟合”的位置宁松勿紧卡太久就手动降一档。课程回退同样重要。升到 S3 之后如果到达率连续 50 个 update 不涨反跌说明难度跨太大退回 S2 再训 20 个 update 往往比硬扛有效。这个回退机制写进训练脚本里比人肉盯着曲线手动改配置可靠得多。3.3 探索预算与熵系数给随机性一个退出时间表稀疏奖励任务里熵系数不是正则项是探索预算。前期需要大熵把策略摊开后期需要小熵让策略收敛到一条确定的路径。固定熵系数的做法在短周期任务上能用在重返秘境这种长周期任务上会两头不讨好前期探索不足后期策略抖动。def entropy_coef(step, total_steps, start0.02, end0.002, warm_ratio0.1): step: 当前训练步数 total_steps: 总训练步数 warm_ratio: 前 10% 步数保持 start 不变给冷启动留足探索 返回: 当前熵系数 warm warm_ratio * total_steps if step warm: return start t (step - warm) / max(1.0, total_steps - warm) return start (end - start) * min(1.0, t)start取 0.02 是个比较通用的起点动作空间只有 5 维再大就退化成纯随机。end取 0.002低于这个值策略基本冻结遇到局部最优比如卡在某个房间门口就再也出不来。warm_ratio我一般给 0.1也就是前 10% 的训练步数不做退火这段时间正好对应课程里的 S0 和 S1。如果发现智能体在 S2 阶段明显早熟把所有种子跑出来路径几乎一模一样那就是退火太快把warm_ratio提到 0.2 试一次。4. 训练主循环与关键超参一份能跑通的最小骨架算法选型上重返秘境这种多智能体协作探索任务MAPPO 是性价比最高的选择实现简单、样本效率在 on-policy 里算好的、调参维度少。有人会推荐 QMIX 这类值分解方法理论上是为多智能体定制的但工程复杂度高一截在终点判定这么明确的稀疏任务上并不占优。下面这套骨架跑通过 16×16、3 智能体的配置直接改环境和网络结构就能用。4.1 并行采样与 GAEon-policy 的样本效率从哪来on-policy 方法最大的问题是样本相关性单环境顺序采样训出来的策略方差极大。解决办法是并行环境开 16 到 32 个环境实例每个跑 n_steps 步拼成一个 batch 再更新。这样一次更新看到的是几万条近乎独立的轨迹梯度估计稳得多。import numpy as np import torch def gae(rewards, values, dones, gamma0.99, lam0.95): rewards / values / dones: shape(T, E)T 为 n_stepsE 为并行环境数 返回 advantages, returns形状同输入 T, E rewards.shape adv np.zeros((T, E), dtypenp.float32) last_gae np.zeros(E, dtypenp.float32) # 反向递推bootstrap 值由调用方补在 values 的最后一行 for t in reversed(range(T)): next_value values[t 1] if t 1 T else np.zeros(E, dtypenp.float32) nonterminal 1.0 - dones[t] delta rewards[t] gamma * next_value * nonterminal - values[t] last_gae delta gamma * lam * nonterminal * last_gae adv[t] last_gae returns adv values[:T] return adv, returnsgamma和塑形项里的折扣因子必须是同一个值这一点前面提过这里再强调一次因为它是跨模块的一致性约束最容易在重构时被改坏。lam取 0.95 是通用起点调到 0.9 会让 advantage 更偏向短期在长路径任务上收敛慢但更稳调到 0.99 长期信号更强代价是方差变大需要配合更大的 batch。dones必须包含超时终止不能只标“到达终点”否则超时那一步会被当成非终止状态继续 bootstrap价值估计会系统性偏高。返回之前记得对 advantage 做标准化减均值除标准差再做 reward scaling。塑形项和终点奖励量级差得远不 scaling 的话终点那 1 会被塑形项淹没策略会满足于“一直靠近但不到达”。4.2 参数共享 集中式 CriticMAPPO 的最小实现多智能体部分有两个关键设计。第一是参数共享所有智能体共用一套 actor 网络靠观测里的 id one-hot 区分角色。这样样本量直接翻 N 倍冷启动快很多。代价是不同角色的行为容易被抹平如果赛题里智能体有明确分工比如一个开门一个探路就得换成不共享或者部分共享。第二是集中式 Criticactor 只看局部观测critic 看全局状态。训练时 critic 拿到全部智能体的位置和地图信息估值更准梯度质量更高执行时只用 actor不依赖全局信息。这就是 CTDE 的标准做法实现上就是把 critic 的输入维度设成 actor 的 N 倍再拼起来。class ActorCritic(torch.nn.Module): def __init__(self, obs_dim, global_dim, act_dim5, hidden128): super().__init__() # actor 只看局部观测执行时可用 self.actor torch.nn.Sequential( torch.nn.Linear(obs_dim, hidden), torch.nn.ReLU(), torch.nn.Linear(hidden, hidden), torch.nn.ReLU(), torch.nn.Linear(hidden, act_dim), ) # critic 看全局状态只在训练时用 self.critic torch.nn.Sequential( torch.nn.Linear(global_dim, hidden), torch.nn.ReLU(), torch.nn.Linear(hidden, hidden), torch.nn.ReLU(), torch.nn.Linear(hidden, 1), ) def forward(self, obs, global_state): logits self.actor(obs) # (B, 5) value self.critic(global_state) # (B, 1) return logits, valuehidden给 128 在重返秘境这个量级上够用再大会过拟合到具体地图评估时换图掉点明显。act_dim固定 5别随着课程阶段变化动作空间变了 checkpoint 就不兼容。critic 的global_dim要在环境侧统一拼好别在训练循环里临时torch.cat那样每次更新多一次 CPU-GPU 拷贝跑几十万步就是可观的浪费。4.3 超参表与调参顺序调参顺序比参数值本身重要。我的顺序是先确认能学到到达率从 0 涨到 20%再确认稳定多个种子方差可控最后才调收敛速度。跳过前两步直接追速度最后大概率得到一个单种子表现很好、换种子就崩的模型。参数取值调整方向学习率3e-4不收敛降到 1e-4收敛太慢升到 5e-4gamma0.99路径变长可提到 0.995gae lambda0.95方差大降到 0.9clip range0.2策略崩到 0.1ppo epochs4过拟合到 8 以上要警惕minibatch2048显存允许就加大entropy0.02 → 0.002早熟则拉长退火并行环境数32样本相关就加n_steps256地图变大适当加大塑形 alpha0.03绕圈则降学不动则升这个表不是让你照抄是让你知道每个参数往哪个方向拧、拧过头会出什么事。真正跑起来我通常只动三个alpha、entropy 退火曲线、并行环境数。其余参数在任务量级不变的情况下基本不用碰。5. 避坑终点模型最常见的五个翻车现场这一章单独拎出来是因为下面这几条的共同点是“不报错”。训练照跑日志照出曲线还挺好看但你去看评估结果才知道全白干了。每条按现象、原因、解决写遇到对得上的直接照着改。5.1 训练回报一路涨评估到达率是 0现象很典型训练日志里平均回报从 0.1 爬到 0.8看着像收敛了一跑评估集200 局到达 0 次。第一反应是评估脚本写错了查半天发现脚本没问题问题在训练。最常见的原因是评估地图和训练地图的尺寸或障碍分布不一致而观测里混进了绝对坐标或者地图尺寸相关的量策略把训练集的布局背下来了。解决方式是先把观测里的绝对量全删掉再检查评估集是否真的来自训练分布之外——如果评估集就是从训练地图里随机切的那到达率 0 说明是别的问题比如评估时忘了加载 actor 的权重或者动作掩码在评估时用了另一套实现。我一般的排查顺序是先用训练地图跑评估如果这里到达率正常那一定是泛化问题如果这里也是 0那就是评估管线本身有 bug。5.2 智能体学会在终点附近绕圈刷势能现象是到达率卡在 40% 左右上不去回放视频里能看到智能体走到终点旁边两格就开始左右横跳死活不踩上去。原因是塑形系数 alpha 给大了或者塑形项写成了“离终点越近给正奖励”而不是势差形式。前者让每一步靠近的收益超过了到达本身的 1后者直接改变了最优策略智能体发现原地晃动比走到终点更划算。解决方式是把塑形项改回严格的gamma * phi(s) - phi(s)形式alpha 从 0.1 降到 0.03 再试。如果还是绕圈把终点奖励从 1 提到 5人为拉大终点的相对收益——这不优雅但在工程上有效而且不会改变最优策略只是加快收敛。5.3 动作掩码训练时开、评估时关现象是训练到达率 70%评估掉到 30%而且失败案例集中在墙边和地图边界。原因是评估脚本为了“跑得快”把动作掩码那一步省了直接对 logits 做 argmax。策略在训练时从没见过“选了撞墙动作”的样本一旦允许它选它就会在墙边反复输出无效动作步数耗光超时。解决方式是把掩码逻辑抽成一个独立函数训练和评估都调同一个别各写一份。更稳的做法是在环境侧统一处理不管策略输出什么动作环境先做一次合法性校验非法动作转成“停”这样即使掩码漏了也不会静默失败只是效率低一点。5.4 步数上限给太松智能体学会“耗时间”现象是到达率不高但超时率也不高大量回合卡在“走了一半然后原地打转”。原因是max_step给到了理论最短路的 5 倍以上智能体发现慢慢磨也能拿到同样的 0 奖励没有任何动力去压缩路径。稀疏奖励下这个问题尤其隐蔽因为回报曲线完全平你看不出区别。解决方式是把max_step压到最短路的 2.5 倍同时在评估指标里加上“平均完成步数”路径效率下降会立刻暴露。还有一个副作用值得注意步数上限压紧之后早期训练的超时率会飙升别慌那是正常的等策略学会走近路就会降下来。5.5 按平均回报选 checkpoint选到“刷分怪”现象是训练结束按最高回报存的模型实际到达率不如训练中期的某个 checkpoint。原因是平均回报里混着塑形项某些 checkpoint 特别擅长刷塑形分但并不会真正到达终点回报高只是因为它在地图中间绕得久、累积的势能增量多。解决方式是把 checkpoint 的选择依据换成固定种子集上的到达率回报只做参考。具体做法是每 20 个 update 在 5 个固定种子上各跑 20 局算到达率和平均步数按到达率排序存 top3。这个评估开销大概占训练总时间的 5%但能省掉你后期几天的返工。6. 上分前的最后一段路用固定种子集验证终点能力训练跑通只是及格线能不能拿去用取决于你怎么验证。我现在的习惯是维护一个三层评估集每层 100 局种子固定。第一层是训练分布内的地图用来确认没训崩第二层是同尺寸但障碍布局不同的地图用来测泛化第三层是尺寸大一圈、智能体多一个的地图用来测迁移。三层到达率如果呈现“高、中、低”的梯度说明模型是学到了走路的本事如果第一层高、第二层直接归零那就是背地图回去改观测。评估层地图配置关注指标健康区间L1 分布内12×12密度 0.252 智能体到达率、平均步数到达率 0.75L2 同尺寸新布局12×12密度 0.25随机种子不同到达率、超时率到达率 0.55L3 跨尺寸16×16密度 0.253 智能体到达率到达率 0.30指标里我额外看两个路径效率最短路步数除以实际步数和卡死率连续 20 步位置不变的比例。路径效率低于 0.5 说明策略在绕路即使到达率还行实际比赛里也会因为步数限制吃亏卡死率高于 5% 说明存在局部最优陷阱通常是某个房间的入口被学成了“不可进入”这时候回去看回放往往能发现是那一格的动作掩码或者观测编码出了问题。具体技巧上我最常用的是成功轨迹回放池。把评估阶段到达终点的轨迹单独存下来每隔一段时间以 5% 的概率混进训练 batch 里做一次监督式的辅助损失。这个做法在稀疏奖励后期特别管用相当于给策略一个“后悔药”让它能反复看自己成功时到底走对了哪几步。实现上不用改太多把成功轨迹的 (obs, action) 对存进一个固定大小的环形缓冲区训练时采样一批算交叉熵系数给 0.1 就够给大了会把策略带偏成行为克隆。还有一个习惯是每次改完奖励函数先跑 5 个种子 × 200 局不看训练曲线只看 L1 和 L2 的到达率差值。差值超过 0.25 就说明这次改动让它更依赖训练分布直接回滚。这个检查只要十几分钟但拦住过我好几次“看起来更优雅、实际更过拟合”的改动。重返秘境这类任务终点判定就一行代码但围绕这一行代码的观测、掩码、塑形、评估每一环都能让你多花一周。把验证做在前面比事后调参省力得多。希望帮到你。本文还有配套的精品资源点击获取