从16×16矩阵到Q-Learning：无模型强化学习的MATLAB实现与避坑指南

简介这份资源面向强化学习入门者与需要动手复现经典算法的学习者提供Q-Learning算法的Matlab完整实现与逐行中文注释帮助读者在无模型环境下理解决策策略的学习过程。代码以16×1网格世界为实验场景王子需避开障碍与陷阱、抵达第16格的公主涵盖可移动矩阵TT、奖赏矩阵R、Q矩阵初始化、折扣因子gamma与epsilon-greedy策略选择并演示贝尔曼方程更新Q值、900轮训练循环及训练后最优路径规划注释细致便于对照理解每一步逻辑。资源包共1个doc文件大小约33KB内容紧凑、开箱即可在Matlab中运行调试。目前已有1380人学习下载适合作为强化学习课程实验、算法入门练手或教学演示的参考素材读者可据此掌握环境建模、奖励机制设计与策略迭代的完整流程。1. Q-Learning 的“无模型”到底省掉了什么从一张 16×16 的矩阵说起很多人第一次看 Q-Learning 的代码会觉得它“不像学习”——没有梯度下降没有损失函数甚至连一次像样的反向传播都没有只有一行Q(state,action)R(state,action)gamma*max(Q(action,:))反复执行。可就是这一行让一个在 16 格网格里乱撞的智能体最终能稳定找到通往终点的路径。反直觉的地方在于它压根没学过环境长什么样却表现得像掌握了环境。这份 MATLAB 源码把这件事摊得很平——可移动矩阵T、奖赏矩阵R、Q 矩阵Q三张表加上折扣因子gamma和探索概率epsilon就把无模型强化学习的骨架搭完了。搞懂它为什么能 work比会调用一个库有价值得多因为后面所有深度强化学习的变体几乎都是在这行更新公式上做文章。2. 环境建模为什么用矩阵而不是函数来描述世界2.1 可移动矩阵 T 与状态转移的显式表达这份代码最值得先看的是环境怎么被“写死”成矩阵。16 个位置每个位置能往哪走全部塞进一个 16×16 的T矩阵里T(i,j)1表示能从 i 走到 j。上行动作对应i-1下行动作对应i1左行动作对应i-4右行动作对应i4——这是把一维编号按 4×4 网格展开后的偏移量。边界判断用的是ismember(i,[1,5,9,13])这类硬编码本质是在说“第一列不能往上走”。% 定义可移动矩阵 T Tzeros(16); for i1:16 % 上行动作 N不在第一列才能上移 if(not(ismember(i,[1,5,9,13]))) T(i,i-1)1; end % 下行动作 S不在最后一列才能下移 if(not(ismember(i,[4,8,12,16]))) T(i,i1)1; end % 左行动作 W编号大于 4 才能左移 if(i4) T(i,i-4)1; end % 右行动作 E编号小于 13 才能右移 if(i13) T(i,i4)1; end end这段循环的机制含义是状态转移是确定性的给定状态和动作下一个状态唯一。T矩阵的行是当前状态列是目标状态值为 1 代表这条边存在。参数上i-1、i1、i-4、i4这四个偏移量不是随便定的它们对应 4 列网格的上下左右一旦网格尺寸变了这四个常数就得跟着改这是硬编码带来的耦合。常见的实现思路是把这个矩阵换成邻接表或转移函数next_state(s,a)省内存也省得改常数。但用矩阵的好处是查询极快find(T(state,:)1)一行就能拿到所有合法动作对教学和小规模问题足够。这里的设计取舍很清楚用空间换表达清晰用硬编码换零抽象。2.2 障碍物与跳跃在转移矩阵上做“减法”和“改写”障碍物不是单独的数据结构而是直接在T上抹掉T(:,[10,11,14])0把所有指向 10、11、14 的边清零等于这三个格子不可达。跳跃则是先清空第 13 行的所有出边T(13,:)0再单独开一条T(13,15)1。这两步操作揭示了一个重要机制环境的所有规则最终都收敛到“哪些转移合法”这一件事上。% 定义不可达到区域障碍物 T(:,[10,11,14])0; % 定义跳跃13 号位置只能跳到 15 T(13,:)0; T(13,15)1;注意T(13,:)0必须在T(13,15)1之前执行顺序反了跳跃边会被自己清掉这是血泪经验级别的细节。障碍物用列清零而不是行清零意味着“别人进不来”但障碍物自己作为起点的出边还在——不过训练循环里用while ismember(state,[10,11,14])重新采样初始状态规避了从障碍物出发的情况。这种“矩阵改写即规则”的做法好处是规则集中、可审计坏处是每加一条特殊规则就要动一次矩阵规模一大就难维护。2.3 奖赏矩阵 R稀疏信号如何塑造行为R-1*ones(16)先把所有奖赏设成 -1然后R(:,6)0、R(:,7)-5、R(:,16)10、R(13,15)5。这里有个容易看漏的点奖赏是按“目标状态”给的R(:,16)10表示任何状态转移到 16 都得 10 分而不是只有特定动作才给。这种按列赋值的写法本质是把奖赏定义在转移的目标端。-1 的全局惩罚是这份代码最关键的激励设计。它让智能体每走一步都“掉血”从而逼出最短路径而不是绕远路刷分。如果全设 0智能体可能学会原地打转或走最长路径因为到达终点前没有任何成本。R(:,7)-5是陷阱列R(13,15)5是跳跃奖励两者叠加在同一个 Q 更新公式里靠max(Q(action,:))把未来价值往回传。奖赏稀疏且带负步数惩罚是网格世界问题的经典配置也是理解“为什么 Q 值会收敛到负数和正数混合”的入口。3. Q 值更新一行贝尔曼方程背后的收敛逻辑3.1 更新公式拆解R 加 gamma 乘 max 到底在算什么核心更新只有一行% 贝尔曼方程的单步采样更新 Q(state,action)R(state,action)gamma*max(Q(action,:));拆开看R(state,action)是这一步的即时奖赏max(Q(action,:))是到达下一个状态后从那里出发能拿到的最大 Q 值gamma0.8是折扣因子把未来价值打折。整行的含义是“当前这一步的价值 即时收益 打折后的未来最优收益”。这不是标准的 Q-Learning 增量更新标准形式带学习率 α 和 TD 误差而是直接赋值式更新等价于 α1 的极端情况。参数上gamma0.8意味着 5 步之后的奖赏只剩约 0.33 的权重10 步之后只剩 0.1。这个值决定了智能体“看多远”太小会短视只盯着眼前的 -1太大会让远处奖赏传播慢、训练轮数变多。epsilon0.3是探索概率30% 随机走、70% 走当前最优这个比例在 900 轮训练里足够让所有状态-动作对被访问到。直接赋值式更新有个隐患它假设环境是确定性的且每次更新都完全信任新样本。在随机环境里这种写法会震荡标准做法是Q(s,a) Q(s,a) α*(R γ*max Q - Q(s,a))用 α 平滑。这份代码因为环境确定、状态空间小α1 也能收敛但换成随机转移就会翻车。这是理解“为什么工业级实现都带学习率”的最好反例。3.2 epsilon-greedy探索与利用的开关怎么拨if rand()epsilon % 探索随机选一个合法动作 chooseunidrnd(length(possible_actions)); actionpossible_actions(choose); else % 利用选当前 Q 值最大的动作 [~,index]max(possible_Q); actionpossible_actions(index); endpossible_actionsfind(T(state,:)1)先拿到合法动作集合possible_QQ(state,possible_actions)再取对应的 Q 值。注意max返回的是索引index要再用possible_actions(index)映射回真实动作这一步不能省否则会把“第几个合法动作”当成“哪个状态”用路径直接错乱。epsilon-greedy 的机制价值在于没有探索Q 矩阵里没被访问过的状态-动作对永远是 0智能体会卡在局部最优没有利用学到的 Q 值用不上等于白学。0.3 这个固定值在 900 轮里不做衰减意味着训练后期仍在随机乱走这会让 Q 值收敛后仍有小幅波动。常见的改进是让 epsilon 随轮数衰减前期多探索、后期多利用。这份代码没做衰减是简化也是可以深挖的改进点。3.3 训练循环的状态流转从随机起点到终点for episode1:900 stateunidrnd(16); while ismember(state,[10,11,14]) stateunidrnd(16); % 重采样直到不在障碍物上 end while state~16 possible_actionsfind(T(state,:)1); possible_QQ(state,possible_actions); % ... epsilon-greedy 选动作 ... Q(state,action)R(state,action)gamma*max(Q(action,:)); stateaction; % 状态前移 end end外层 900 次 episode内层一直走到状态 16 为止。stateaction这行是状态转移的执行因为T里T(state,action)1已经保证了 action 是合法下一状态所以直接把 action 赋给 state 即可不需要额外的转移函数。这种“动作即下一状态”的表示是网格世界把动作空间和状态空间统一编号后的便利换成连续控制就不成立了。900 这个轮数不是随便定的状态空间 16、动作最多 4 个总共几十个状态-动作对每对平均被访问几十次就足够让 Q 值稳定。轮数太少远处奖赏传不回来轮数太多纯属浪费。训练中每 100 轮打印一次进度是排查“到底有没有在学”的最朴素手段——如果 Q 值一直不涨先看打印再看更新公式里的max是不是取错了维度。4. 路径提取与常见翻车点Q 矩阵学完之后怎么用4.1 贪心解码为什么 max 的方向不能反训练结束后路径提取是另一段独立逻辑start_01; pathstart_0; while path(end)~16 [~,next]max(Q(start_0,:)); % 当前状态下 Q 最大的下一状态 path[path,next]; start_0next; end这里max(Q(start_0,:))取的是当前状态那一行里 Q 值最大的列列号就是下一状态。方向不能反如果写成max(Q(:,start_0))取的是“哪些状态转移到当前状态最划算”那是入边不是出边路径会完全错乱。这个坑很隐蔽因为矩阵是对称形状转置一下不报错只是结果莫名其妙。贪心解码不加 epsilon是纯利用模式前提是 Q 矩阵已经收敛到每个状态都有明确的唯一最优动作。如果训练不充分某些状态的最大 Q 值并列或指向错误方向解码可能走进环。这份代码没做环检测while path(end)~16在极端情况下会死循环实际使用时值得加一个步数上限。4.2 避坑清单五条踩过的坑现象一路径在几个格子之间来回跳永远到不了 16。原因Q 矩阵没收敛某些状态的最大 Q 值指向了回头路贪心解码陷入二点环。解决增加训练轮数或检查gamma是否过大导致远处奖赏传播太慢也可以在解码时记录已访问状态发现重复就换次优动作。现象二训练打印显示 Q 值全是 0一点没学。原因R矩阵赋值顺序错了比如先R(:,16)10又执行了R-1*ones(16)把它覆盖掉。解决确认R的初始化在最前面后续按列赋值在其后打印R(1,16)验证是否为 10。现象三智能体从不走跳跃边 13→15。原因T(13,:)0写在了T(13,15)1后面跳跃边被清掉或者R(13,15)5被后面的赋值覆盖。解决严格保证“先清零再设边”的顺序训练前打印T(13,15)和R(13,15)各确认一次。现象四初始状态采样偶尔落在障碍物上导致该轮直接卡死。原因重采样循环while ismember(state,[10,11,14])的条件写漏了某个障碍编号或障碍列表和T的列清零列表不一致。解决把障碍编号抽成一个变量obstacles[10,11,14]T清零和重采样都引用它避免两处硬编码不同步。现象五换了网格尺寸后上下左右动作全乱。原因i-1、i1、i-4、i4这四个偏移量是按 4 列写死的改成 5 列后i-4不再是左移。解决把列数抽成参数cols偏移量改成i-1、i1、i-cols、icols边界判断也改用mod运算而不是硬编码列表。提示这五条里前三条都跟“赋值顺序”有关矩阵式环境建模最大的敌人不是算法是覆盖写。训练前把T、R的关键元素打印一遍比事后调试省时间。5. 从这张 16×16 矩阵看 Q-Learning 的设计取舍这份代码最值得琢磨的不是它实现了 Q-Learning而是它用最少的抽象暴露了 Q-Learning 的全部假设。直接赋值式更新假设环境确定性固定 epsilon 假设探索预算均匀矩阵式环境假设状态离散且规模可控贪心解码假设 Q 已收敛。每一条在网格世界里都成立换到真实问题里几乎都要改。我一般会这么理解这行更新公式是一个“价值传播”的迭代器max负责把未来的好结果往回拉gamma负责控制拉多远R负责给每个转移打标签三者缺一不可。真正决定它能不能 work 的是状态-动作对是否被充分访问——这也是为什么探索策略比更新公式更值得花心思。设计点这份代码的选择代价常见替代环境表示16×16 矩阵硬编码换尺寸要改常数转移函数 / 邻接表Q 更新直接赋值α1随机环境下震荡带学习率 α 的 TD 更新探索固定 epsilon0.3后期仍乱走epsilon 衰减奖赏全局 -1 步惩罚需调 gamma 配合势函数塑形解码纯贪心无环检测可能死循环带访问记录的贪心验证这套机制是否真的被理解有个简单办法把gamma从 0.8 改成 0.1重新训练观察路径是否变短但绕路变多再把R的全局 -1 改成 0看路径是否变长甚至打转。两次改动分别验证折扣因子和步数惩罚的作用比读十遍公式管用。源码和注释都在那份文档里矩阵怎么建、循环怎么写、路径怎么提照着跑一遍再改参数比只看结论扎实得多。从那以后我每次碰强化学习的代码都强制先把环境矩阵和奖赏矩阵打印出来核对一遍赋值顺序再谈训练——因为翻车从来不在公式在那些被覆盖掉的一行。希望帮到你。本文还有配套的精品资源点击获取