多智能体强化学习实现无人机三维路径规划实战指南

简介面向无人机协同控制与人工智能交叉领域这份资源给出基于多智能体强化学习的无人机三维路径规划项目实例适合具备Python编程、机器学习与强化学习基础的研究人员、工程师及高年级本科生聚焦多无人机在复杂三维障碍环境中的协同避障、路线选择与安全飞行。内容以近端策略优化算法为主线系统覆盖三维连续空间环境建模、局部观测与集中式价值网络设计、安全约束融入、候选路线评估与自动选择机制并提供完整代码详解与图形界面实时仿真模块能够支撑从算法验证到工程预研的全流程复现。压缩包内仅有一个Word文档约141KB以文字讲解结合代码示例组织目录依次涉及项目背景、挑战与解决方案、模型架构、代码示例及应用领域便于按模块对照阅读和二次开发。已有98人浏览学习适合城市低空物流、森林巡检、电力巡检与应急救援等场景的科研原型或工程预研使用也可作为研究多智能体信用分配、集中训练分散执行等关键技术的可复现实验基础。1. 多智能体强化学习做无人机三维路径规划先想清楚为什么换不掉MARL在电力巡检、山区洪涝灾害物资投放这类任务里单机路径规划已经够成熟但一旦要出动三架以上无人机、在同一个三维空域里协同巡检并避让彼此传统A*和RRT就暴露出致命弱点它们把每架飞机当独立个体机间冲突只能靠后排序解决越规划越慢。多智能体强化学习MARL正是把这个协同问题当作一个多智能体决策过程让每架无人机作为独立智能体在三维空间里同时学习“到达目标”和“不与邻居碰撞”的策略。这篇笔记面向已经有Python基础、想复现一个完整三维路径规划项目的工程师从建模、训练到GUI设计给出一条能落地跑通的路线。2. 把航线问题拆成马尔可夫博弈状态、动作、奖励与环境建模多智能体强化学习的第一件事不是写网络而是把现实中的“三架无人机在三维空域飞行”翻译成计算机能优化的数学对象。你说它是“马尔可夫博弈”也好说是“多个单智能体环境”也好核心都是把这五个东西定义清楚每个智能体观察到了什么、能做什么动作、环境怎么更新、给多少奖励、什么时候结束一局。顺序错了后面调算法全是白费。2.1 为什么随机环境必须用“观察状态”而不是全局上帝视角刚接触MARL的人最容易犯的错是让每架无人机看到全图知道自己位置也知道所有队友和所有障碍物的精确坐标。这在仿真里很好写但一到真机就废——GPS有误差、传感器有遮挡、通信有延迟全局状态根本凑不齐。所以 MARL 环境普遍做成部分可观测每个智能体只能拿到自身姿态、目标点在自己系里的相对位置、通信半径内邻居的位置、以及局部障碍物距离。我一般会把返回给策略的观测设计成“相对量”而不是绝对坐标。比如目标点写成target - position邻居写成neighbor_pos - my_pos。原因很简单神经网络对绝对坐标的泛化能力差训练时只在20到80米的范围见过真机上一旦飞到120米输入分布就变了。但“目标在我的东北方向30米”这种相对量不管从哪个起点起飞语义都是稳定的。2.2 定义无人机三维状态与动作空间一个可直接跑的Python环境骨架三维路径规划的典型动作空间有两种三维加速度增量和三维速度指令。我建议先用速度指令动作值是dx/dy/dz的速度变化量范围限制在[-3, 3] m/s。这样既保留连续控制的平滑性又比加速度直接积分稳定。下面是一个最简环境骨架可以当MARL训练的起点import numpy as np from collections import deque class MultiDrone3DEnv: def __init__(self, num_drones3, region_size(100, 100, 30), max_steps200): self.num_drones num_drones self.region_size np.array(region_size, dtypenp.float32) self.max_steps max_steps self.drones None self.targets None self.t 0 def reset(self): # 起点和目标点随机撒在区域两端避免起点和终点重叠 self.drones np.random.uniform( low[0, 0, 5], high[20, 20, 15], size(self.num_drones, 3) ).astype(np.float32) self.targets np.random.uniform( low[80, 80, 5], high[100, 100, 20], size(self.num_drones, 3) ).astype(np.float32) self.t 0 return self._get_obs() def step(self, actions): # actions: shape (num_drones, 3)每列代表三轴速度指令 actions np.clip(actions, -3.0, 3.0) self.drones actions * 0.1 # 简单积分dt0.1s self.t 1 obs self._get_obs() rewards np.array([self._reward(i) for i in range(self.num_drones)], dtypenp.float32) done self.t self.max_steps return obs, rewards, done, {} def _get_obs(self): obs_list [] for i in range(self.num_drones): distance_to_target self.targets[i] - self.drones[i] # 最近的障碍物距离简化为与边界墙距离的乘积 boundary_dist np.min(np.stack([ self.drones[i] - self.region_size * 0, self.region_size - self.drones[i] ]), axis0) obs_list.append(np.concatenate([ self.drones[i], distance_to_target, boundary_dist ]).astype(np.float32)) return np.array(obs_list) def _reward(self, i): dist np.linalg.norm(self.targets[i] - self.drones[i]) r -0.02 * dist # 每一步都鼓励靠近目标 if dist 1.0: r 50.0 # 撞墙 if np.any(self.drones[i] 0) or np.any(self.drones[i] self.region_size): r - 30.0 return r这段代码有几个值得注意的地方。step里我先clip动作到[-3, 3]这是因为神经网络在训练初期会输出很大的数不限制的话无人机一步就飞出地图后面所有梯度都乱掉。actions * 0.1是离散时间步长代表每个决策周期持续0.1秒这个值要和真实飞控的指令频率匹配后面避坑还会细说。观测向量当前只有12维自身坐标3维、目标相对坐标3维、到区域边界的距离6维三个方向。真实项目里还会加入邻居相对位置、剩余油量、障碍物稠密度但这些先不加保证第一个版本能跑通。注意_get_obs返回的是一个(num_drones, obs_dim)的数组MADDPG这类集中训练分散执行的算法critic会拿到所有智能体的obs拼接而actor只拿自己的那一行。2.3 奖励塑形路径平滑、碰撞惩罚与任务完成度的权重设计奖励塑形是MARL项目里最玄学也最关键的部分。奖励给稀了智能体学不到东西给稠了又容易走极端。我见过最典型的翻车是只在到达目标时才给100其余时刻reward一直为0结果训练一百万分种无人机还在原地打转。一个更稳定的做法是让每一步都有“势能差奖励”。所谓势能就是当前点到目标点的距离。上一步距离80这一步距离79那么势能减少1可以给一个正比例奖励。这样智能体不需要碰运气因为每一步都在向目标靠近梯度信号是连续的。def _reward(self, i, prev_distNone): dist np.linalg.norm(self.targets[i] - self.drones[i]) # 势能引导越接近目标每步收益越大 reward -0.02 * dist # 完成任务 if dist 1.0: reward 50.0 # 碰撞惩罚 for j in range(self.num_drones): if j i: continue d np.linalg.norm(self.drones[i] - self.drones[j]) if d 1.5: reward - 40.0 # 边界惩罚给一个较大的负值防止飞出地图 if np.any(self.drones[i] 0) or np.any(self.drones[i] self.region_size): reward - 30.0 return reward这里的权重逻辑是距离项系数0.02很小因为距离范围在几十到一百米乘起来每步大概给1到2的负奖励碰撞惩罚40远大于单步距离损失智能体会优先学避障完成奖励50又略高于碰撞惩罚保证它不会为了回避所有邻居而永远悬浮。奖励权重的相对大小比绝对大小重要一般先定碰撞惩罚再调距离项最后调完成奖。如果训练时发现智能体撞了也去抢目标就把碰撞惩罚调到60如果发现它停在原地不动就把距离项系数从0.02提到0.05。需要提一句这里的碰撞检测只算了机间距离没有算障碍物和地面。多数入门项目会先把障碍物简化成若干球形判断距离有没有小于半径和。等模型能在简单环境里稳定到达目标后再逐级加入更多约束这样排错会容易很多。3. 运动学、碰撞检测与通信约束真实三维空间里的多智能体模型第二张的环境代码能跑但离“飞行”还差得远。真实无人机没有这么听话速度指令给了它还要加速有惯性转向有最小转弯半径机间距离太近会有涡流干扰。这一章把这些物理约束补进去顺便解决多智能体通信半径造成的部分可观测问题。3.1 无人机运动学模型选择位置控制与姿态控制的取舍做路径规划层的MARL一般不需要真的去解欧拉角动力学方程那样状态维度太大训练难度会翻好几倍。通常有两档选择。第一档是把无人机当作一个三维质点动作是速度增量这是上一章的模型适合验证算法。第二档是加一层一阶惯性环节让速度不能突变class DroneKinematics: def __init__(self, init_pos, max_speed8.0): self.pos init_pos.copy() self.vel np.zeros(3, dtypenp.float32) self.max_speed max_speed def update(self, target_vel, dt, tau0.3): # 一阶惯性实际速度向目标速度靠近tau是时间常数 acc (target_vel - self.vel) / tau self.vel acc * dt # 限幅 speed np.linalg.norm(self.vel) if speed self.max_speed: self.vel self.vel / speed * self.max_speed self.pos self.vel * dt return self.pos参数tau表示响应快慢tau0.3说明无人机大约在0.3秒内达到新的速度指令。实际飞控的响应时间取决于内环PID和机体质量但路径规划层不需要太精确只要让动作不跳变就行。加上这个模型后智能体学会了“提前减速”而不是每次都冲到目标点再反弹。有人问为什么不用姿态角roll/pitch/yaw直接做动作空间。因为姿态角控制属于飞控内环的职责强化学习直接输出姿态角会让训练在频繁的姿态扰动里浪费大量样本而且仿真里学到的姿态指令和真实PX4飞控解算对不上。正确做法是让强化学习输出vx/vy/vz或更上层的位置指令底层由飞控完成姿态解算。3.2 碰撞检测与安全间隔用最小距离判定还是三维几何判定机间碰撞检测看着简单其实坑很多。最朴素的做法是每步计算所有无人机两两距离小于阈值就判定碰撞。但如果状态更新步长是0.1秒两架无人机相向速度都是8m/s一个步长里能相对移动1.6米可能上一帧还在2米外下一帧已经重叠穿过去了。所以单纯看当前距离会漏检。我一般会做“子步插值检测”在两次状态更新之间把飞行轨迹线性插值成若干段逐段判断最小距离。def check_collision(drone1_old, drone1_new, drone2_old, drone2_new, min_safe_dist1.2, sub_steps5): for k in range(1, sub_steps 1): t k / sub_steps pos1 drone1_old (drone1_new - drone1_old) * t pos2 drone2_old (drone2_new - drone2_old) * t if np.linalg.norm(pos1 - pos2) min_safe_dist: return True return False这个函数接收两个时刻的位置把连续的0.1秒切分成5段比直接判断更接近真实。手工调sub_steps时注意步长越大、速度越快子步数就要越多但子步数太多会让耗时增加训练时可能拖慢一两倍。三维路径规划里还会涉及无人机之间的垂直间隔。民航和高空管制有“同高度同航迹”的限制但在低空无人机的协同场景里更常见的做法是给每个无人机分配一个巡航高度层然后只在同一层内做水平避让。MARL动作空间里可以加一个“高度保持”的代价项比如实际高度偏离目标层超过2米时额外惩罚这样机间碰撞概率会大幅下降。3.3 通信半径与信息传递MADDPG中的离散动作和连续通信多智能体强化学习和单智能体最大的区别在这里每架无人机能获得的信息不是无穷的。如果采用中心化训练分散执行的MADDPG框架训练时critic可以看到所有智能体的状态和动作但执行时actor只能看自己的局部观测这就需要在环境里模拟“通信半径”。def get_local_obs(drones, current_idx, com_range30.0): neighbors [] for j in range(len(drones)): if j current_idx: continue d np.linalg.norm(drones[current_idx] - drones[j]) if d com_range: # 只保留相对位移和相对速度 neighbors.append(np.concatenate([ drones[j] - drones[current_idx], drones[j] * 0 # 这里省略速度实际要传速度 ])) if len(neighbors) 0: neighbors.append(np.zeros(6, dtypenp.float32)) # 不足时补零 return np.array(neighbors, dtypenp.float32)通信半径com_range直接决定了观测维度和多智能体协作能力范围。半径设太大会让所有无人机都看到彼此丧失分布式意义设太小则可能已经快撞上才发现对方避让来不及。经验值通常取“两个目标点最大间距的1/3”比如地图对角线约150米com_range设50米左右。另外每架无人机探测到的邻居数量不固定而神经网络输入维度固定所以要把观测填充到最大邻居数缺失的部分全填0。这里还有一个通信噪声的坑。真实数传链路有丢包和延迟训练时最好在邻居观测里加入随机噪声和随机“丢包”——也就是偶尔把某个邻居的obs置零。策略学会了在观测缺失时仍保持安全距离真机才不容易在弱信号区域犯傻。4. 训练回路MADDPG、经验回放与并行采样参数怎么定运动和奖励定义好了接下来是MARL里最耗时又最需要试错的训练过程。很多人上来就套MADDPG但我建议先根据任务性质选算法再写训练循环否则调参调到怀疑人生。4.1 算法选型MADDPG、QMIX、MAPPO三选一怎么判断三维路径规划是典型的连续动作空间问题而且无人机数量通常是3到5架的固定规模。下面这张表是我在项目里常用的选型参考算法动作类型协作方式适用规模主要缺点MADDPG连续actor局部、critic中心化3~10机对超参数敏感critic容易过估计MAPPO连续/离散共享策略或独立策略1~10机需要大量并行环境采样QMIX离散全局联合Q值分解多机但动作离散连续动作要先离散化精度受限如果是多架无人机在开放空域里做连续轨迹规划MADDPG仍是第一选择。它的思路很直观每架无人机有一个actor网络负责根据自身观测输出动作训练时给每个智能体配一个critic网络输入是所有智能体的观测和动作输出一个状态价值用来指导actor更新。这样训练时信息充足执行时各飞各的符合实际空域里不可能每架飞机都有全局通信的现实。如果动作空间本身就被离散成“前/后/左/右/上/下/悬停”而且无人机数量超过5架QMIX的联合价值分解能更好处理组合爆炸但路径平滑度会下降。MAPPO在样本利用率上有优势但需要开几十个并行环境对机器配置要求高。对于个人项目先从MADDPG起步最稳。4.2 训练主循环与经验回放一个MiniBatch的伪代码实现MADDPG的训练循环核心是三块采样、更新、目标网络软更新。这里我给一个可读性优先的骨架省略了网络定义和loss细节但保留了完整流程。import random import numpy as np from collections import deque class ReplayBuffer: def __init__(self, capacity50000): self.buffer deque(maxlencapacity) def push(self, obs, act, rew, next_obs, done): self.buffer.append((obs, act, rew, next_obs, done)) def sample(self, batch_size): batch random.sample(self.buffer, batch_size) obs np.array([b[0] for b in batch], dtypenp.float32) act np.array([b[1] for b in batch], dtypenp.float32) rew np.array([b[2] for b in batch], dtypenp.float32) next_obs np.array([b[3] for b in batch], dtypenp.float32) done np.array([b[4] for b in batch], dtypenp.float32) return obs, act, rew, next_obs, done def train_maddpg_one_step(agents, replay, batch_size64, gamma0.95, tau0.01): obs, act, rew, next_obs, done replay.sample(batch_size) for i, agent in enumerate(agents): # 计算实时目标Q值用目标actor网络生成当前观测下的目标动作 next_action agent.target_actor(next_obs[:, i]) target_q rew[:, i] gamma * (1 - done[:, i]) * agent.target_critic( next_obs, next_action ) # 更新critic让当前Q逼近目标Q q_value agent.critic(obs, act) critic_loss ((q_value - target_q) ** 2).mean() agent.critic_optimizer.zero_grad() critic_loss.backward() agent.critic_optimizer.step() # 更新actor最大化当前critic对当前obs和当前actor动作的Q估计 current_action agent.actor(obs[:, i]) actor_loss -agent.critic(obs, current_action).mean() agent.actor_optimizer.zero_grad() actor_loss.backward() agent.actor_optimizer.step() # 目标网络软更新 for target_param, param in zip(agent.target_critic.parameters(), agent.critic.parameters()): target_param.data.copy_(tau * param.data (1 - tau) * target_param.data) for target_param, param in zip(agent.target_actor.parameters(), agent.actor.parameters()): target_param.data.copy_(tau * param.data (1 - tau) * target_param.data)这段代码里最关键的是动作下标。每个agent的actor只输入自己的观测obs[:, i]但critic输入的是所有智能体的集合obs。rew[:, i]表示第i个智能体自己的奖励MADDPG并没有一个全局总奖励的概念每个智能体都可以有自己的评价标准。实际项目里为了让它们协作会把这个奖励设计成“个人到达奖励加上团队碰撞惩罚的加权和”。经验回放容量capacity50000适合3架无人机、步长200以内的训练如果地图更大、飞行步数更多建议把容量加到10万以上。gamma0.95是折扣因子表示未来奖励只能看10步左右路径规划任务响应的周期比较短取0.95比较稳取0.99会让策略过于重视远处的目标早期学不会。tau0.01是目标网络软更新参数太大容易导致训练震荡太小收敛慢。4.3 关键超参数学习率、折扣因子、探索噪声的调参顺序MADDPG的超参数比单agent的DDPG还多踩坑我一般按照下面这个顺序调而不是同时乱调。先固定 actor 和 critic 的学习率都是0.0001用Adam优化器。这个数值在多数三维连续控制任务里不会炸。第二步把探索噪声初始标准差设为1.0让它每步衰减0.9995相当于训练到两万步左右噪声降到0.1附近。第三步再调整奖励权重而不是调学习率。奖励权重直接影响梯度幅度调它比调学习率更符合问题语义。有一个容易被忽略的参数是“更新频率”。每执行一步就更新一次网络在逻辑上最快但连续样本强相关会导致critic过拟合。常见做法是每在环境中跑5步收集完样本再更新一次网络。用代码实现就是在训练循环里加一个if step % 5 0:的判断。这个值在3机环境中几乎不影响训练时间但能明显提升稳定性。训练时还要记得保存历史模型。我习惯每训练5000步保存一次checkpoint只保留最近10个。因为MARL训练常有断崖式崩溃某一步更新过猛策略突然全忘。有checkpoint才能回到崩溃前继续调整没有就白跑一整夜。这个“后悔药”必须备上。5. 避坑指南无人机三维路径规划项目的五项常见翻车现场写到这里其实已经把主要调参思路讲完了。但真正让项目从“能跑”变成“能交付”的往往是训练和部署阶段的排错能力。这一章列出我在这类项目里最常遇见的五种翻车现场按照“现象—原因—解决”记录。5.1 训练不收敛奖励稀疏到奖励坍塌的排查现象损失值上下乱跳但无人机飞行轨迹始终乱转到达率在10%以下。原因往往是奖励设置太稀疏只有到达目标才给正奖励大多数步数reward恒为负或为0actor网络根本没有梯度方向。解决方法是引入势能差奖励上节已经给出-0.02*dist这种距离惩罚项。如果已经加了还是不稳定就要检查奖励尺度是否过大。奖励直接乘以100会让目标网络爆炸造成Q值快速发散。我通常会把所有奖励限制在[-1, 1]或[-50, 50]区间并保证正负奖励的出现频率不要差一个数量级以上。5.2 无人机乱撞或穿模碰撞检测维度与时间步错位现象在可视化界面里看到两架无人机的三维轨迹相交但没有判成碰撞。原因有两种一是状态更新步长太大检测当前帧距离时已经穿模二是碰撞检测只做了水平方向xy忽略了高度差两机在相同坐标不同高度却没有分离。解决方法是上一章的子步插值检测并且碰撞判定要同时在三维空间进行——判断条件是sqrt((x差)^2 (y差)^2 (z差)^2) min_safe_dist而不是只看平面距离。另一个隐性原因是动作边界和速度限幅不一致如果动作网络只能输出[-3, 3]但环境里运动学模型没有限幅实际速度可能冲到10m/s一步跑了1米碰撞阈值1.2米就很难防住。所以要在运动学初始化时就把max_speed与动作空间的幅度对齐。5.3 训练时环境报错numpy类型不匹配与gym接口约定现象训练跑到一半某个torch运算报RuntimeError: expected dtype Float but got Long或者是shape mismatch。原因大多是环境返回的状态是int类型而网络输入要求float32或者reset返回了单个数组而step返回的done是一个布尔对象不是np.bool。解决起来不复杂在环境里统一加astype(np.float32)并把所有奖励用np.array(...).astype(np.float32)包装。我还会在训练主循环入口加一个断言assert obs.dtype np.float32, fobs dtype must be float32, got {obs.dtype}这类问题杀人不偿命排查却只要五分钟建议新手一定把环境返回的前五个step都打印出来检查一遍再开始训练。5.4 GUI显示卡死或训练卡顿多线程刷新冲突现象一边训练一边显示三维轨迹GUI窗口时而无响应甚至直接闪退。原因是在训练循环里直接调用了matplotlib.axes.scatter和plt.draw而matplotlib不是线程安全的另一个线程更新数据时主线程正在绘制。解决方法是把训练放在子线程里GUI只通过QtCore.pyqtSignal接收更新信号或者反过来GUI用QTimer定时取最新位置训练进程通过共享内存传递数据。小项目最简单的做法是先训练保存log再用独立脚本加载模型演示不实时训练。这样虽然不能边跑边看损失变化但能彻底免去线程问题。5.5 模型仿真能飞、实机就废仿真与真实之间的随机化差异现象仿真环境里到达率95%换到真机测试却频繁偏离航线甚至撞到仿真里不存在的树枝。原因包括电机响应延迟、风速扰动、GPS漂移、气压计抖动仿真全都没建模。解决方向是“域随机化”在训练环境的动作和状态上加噪声。我会在每一步执行前给目标速度叠加一个高斯噪声标准差设成0.3m/s同时在观测里给GPS位置加0.5米误差。这样策略学到的不是精确位置而是“容错能力”。真实项目如果要进一步贴近实飞还得接入Gazebo的物理模型但那是后话。先保证仿真不是那个理想化的黑匣子模型才有移植价值。6. GUI与三维仿真联动把训练结果变成能演示的飞行过程算法训练完成之后真正让人眼前一亮的往往是可视化界面。无人机三维路径规划这种任务光看loss曲线很难判断策略到底好不好但一个动态三维轨迹图能让甲方、让团队里的非算法同事一眼看懂。6.1 用PyQt5matplotlib做三维动态轨迹显示常见的做法是用PyQt5内嵌 matplotlib 的FigureCanvas重放训练时保存的轨迹数据。下面的代码是一个可用的刷新框架# gui_demo.py import sys import numpy as np from PyQt5 import QtWidgets from matplotlib.backends.backend_qt5agg import FigureCanvasQTAgg from matplotlib.figure import Figure from mpl_toolkits.mplot3d import Axes3D class Drone3DGUI(QtWidgets.QWidget): def __init__(self, trace_data, interval50): super().__init__() self.trace trace_data # shape: (T, num_drones, 3) self.step_idx 0 self.fig Figure(figsize(6, 5)) self.ax self.fig.add_subplot(111, projection3d) self.canvas FigureCanvasQTAgg(self.fig) layout QtWidgets.QVBoxLayout() layout.addWidget(self.canvas) self.setLayout(layout) self.timer QtCore.QTimer(self) self.timer.timeout.connect(self.update_frame) self.timer.start(interval) # 每50ms刷新一帧 def update_frame(self): if self.step_idx len(self.trace): self.timer.stop() return frame self.trace[self.step_idx] # (num_drones, 3) self.ax.clear() for d in range(frame.shape[0]): self.ax.scatter(*frame[d], cC%d % d, s40) self.ax.set_xlim(0, 100) self.ax.set_ylim(0, 100) self.ax.set_zlim(0, 30) self.ax.set_xlabel(X (m)) self.ax.set_ylabel(Y (m)) self.ax.set_zlabel(Z (m)) self.canvas.draw() self.step_idx 1 if __name__ __main__: app QtWidgets.QApplication(sys.argv) trace np.random.rand(100, 3, 3) * 100 # 模拟100步轨迹 win Drone3DGUI(trace) win.show() sys.exit(app.exec_())这段代码用QTimer定时触发update_frame不会出现线程冲突。interval50表示50毫秒刷新一次也就是20帧每秒视觉上足够流畅。真机演示时可以把trace换成模型输出的预测轨迹或者在子线程里不断追加新的实测位置。6.2 验证一套策略能不能交付固定种子与统计指标可视化只是第一步真正要评估方案值不值得投入还是得量化。我会把测试环境固定10个随机种子让同一个训练好的模型跑100次统计三个指标到达率完整走到目标点1米内的次数占比、平均飞行距离越短代表路径越优、碰撞率包括机间碰撞和撞墙。如果到达率低于80%说明策略还不稳回到第5章检查奖励和噪声。如果平均飞行距离比A*长30%以上说明路径平滑欠佳可能需要调小探索噪声或增加平滑惩罚。有一个教训我记了很久最初我为了把到达率从75%提到90%连续调了三天奖励最后发现是“邻居补零”造成的假信息——某架飞机没有邻居时补零的观测让网络误以为邻居就在自己脚下所以总在原地绕圈躲避一个不存在的东西。后来把补零改成自己相对位置唯一值只一个晚上问题就解决了。多智能体项目的坑往往不在算法而在你对环境每一个细节的假设。希望这个从建模、训练到GUI的完整思路能帮你少走这段弯路。本文还有配套的精品资源点击获取