1. 项目背景与核心价值这个自用学习笔记源于我在系统梳理强化学习理论基础时的知识整理需求。市面上大多数教程要么过于偏重算法实现要么直接堆砌数学公式缺少对数学原理的渐进式拆解。作为需要实际应用强化学习的从业者我发现自己经常陷入知道怎么调参但不懂为什么有效的困境。本笔记聚焦强化学习数学基础的第一章内容重点解决三个核心问题马尔可夫决策过程MDP的数学表述如何对应到实际问题建模贝尔曼方程的推导过程中有哪些容易被忽略的假设条件价值函数与Q函数的本质区别在算法实现中会产生什么实际影响通过手写推导过程配合代码验证最终形成了一套可随时查阅的数学-代码双栏对照笔记。这种形式特别适合需要同时理解理论又得快速实现算法的工程场景。2. 马尔可夫决策过程深度解析2.1 状态转移的概率表述陷阱大多数教材直接给出状态转移概率公式P(s|s,a) Pr(S_{t1}s | S_ts, A_ta)但实际建模时容易忽略两个关键细节时间齐次性假设转移概率与具体时间t无关。这意味着我们默认环境动力学是稳定的对于非平稳环境如用户行为随时间变化需要引入状态空间扩展技巧。我在电商推荐系统项目中就通过追加时间周期维度到状态空间来解决这个问题。完全可观测假设当前状态s包含所有必要信息。实际场景中可能需要使用部分可观测MDP(POMDP)框架。一个典型例子是机器人导航时传感器存在噪声的情况。实操建议在代码中可以用assert len(transition_probs.shape) 3来检查是否正确定义了(s,a,s)三维张量结构。2.2 奖励函数的工程实现技巧理论上的即时奖励R(s,a,s)在实现时往往需要做以下调整奖励缩放当奖励值域过大时会导致训练不稳定。我的经验法则是确保单步奖励绝对值不超过10可以通过移动平均统计量动态调整class RewardScaler: def __init__(self, clip_value10): self.clip clip_value self.mean 0 self.var 1 def transform(self, r): scaled (r - self.mean) / max(np.sqrt(self.var), 1e-6) return np.clip(scaled, -self.clip, self.clip)稀疏奖励处理直接使用原始稀疏奖励会导致学习效率低下。一个有效技巧是设计基于状态的潜力函数(potential-based shaping)R(s,a,s) R(s,a,s) γΦ(s) - Φ(s)其中Φ(s)可以设计为到目标的欧式距离等启发式函数。3. 贝尔曼方程的完整推导与验证3.1 从全期望公式开始的逐步推导很多教程直接给出贝尔曼方程的最终形式但理解其推导过程对debug算法至关重要。我们从价值函数定义出发V^π(s) E_π[G_t | S_t s] E_π[∑_{k0}^∞ γ^k R_{tk} | S_t s]通过递归展开并应用马尔可夫性质可以得到V^π(s) E_π[R_t γV^π(S_{t1}) | S_t s] ∑_a π(a|s) ∑_{s} P(s|s,a)[R(s,a,s) γV^π(s)]验证技巧在网格世界环境中可以手动计算各状态价值与方程解的一致性。我曾发现当γ0.9时数值迭代会出现收敛问题这促使我深入研究了收敛条件。3.2 矩阵形式的闭式解当状态空间离散且较小时贝尔曼方程可以表示为矩阵形式V R γPV V (I - γP)^(-1)R实际计算时需要注意矩阵求逆的复杂度为O(n^3)仅适用于|S|1e4的情况当γ接近1时矩阵可能病态需要添加正则化项可以通过Neumann级数展开近似计算(I - γP)^(-1) ≈ ∑_{k0}^K (γP)^kdef analytic_solution(P, R, gamma, K100): I np.eye(P.shape[0]) return np.linalg.solve(I - gamma * P, R) # 精确解 # 或使用迭代近似 V np.zeros_like(R) for _ in range(K): V R gamma * P V return V4. 价值函数与Q函数的本质区别4.1 策略评估时的数值差异在策略评估阶段价值函数V^π和Q^π存在如下转换关系Q^π(s,a) E[R(s,a) γV^π(S)] V^π(s) ∑_a π(a|s)Q^π(s,a)实际编码时常见的错误是混淆两者的更新顺序。正确的SARSA算法更新顺序应该是执行a_t获取(s_t, a_t, r_t, s_{t1}, a_{t1})用Q(s_{t1},a_{t1})更新Q(s_t,a_t)而Q-learning则是执行a_t获取(s_t, a_t, r_t, s_{t1})用max_a Q(s_{t1},a)更新Q(s_t,a_t)4.2 策略改进时的不同影响策略改进定理告诉我们如果 Q^π(s,π(s)) ≥ V^π(s) ∀s ∈ S 那么 V^{π}(s) ≥ V^π(s) ∀s ∈ S但在连续动作空间中基于Q函数的策略改进如DDPG与基于价值函数的策略梯度方法存在本质区别特性Q-based方法V-based方法策略更新频率可以异步更新需要完整轨迹探索能力依赖外部噪声内置随机性适用场景离散/连续动作通常连续动作我在机械臂控制项目中对比发现对于高精度控制任务SAC基于Q比PPO基于V能获得更稳定的策略。5. 实践中的常见问题排查5.1 价值函数不收敛的诊断流程当发现价值迭代无法收敛时可以按照以下步骤检查检查折扣因子确保γ严格小于1。对于有限时域问题可以设置γ1但需要调整终止条件。验证转移概率确保∑_{s} P(s|s,a)1。常见错误是忘记处理终止状态。检查奖励范围过大的奖励会导致数值不稳定。可以尝试奖励缩放rewards (rewards - rewards.mean()) / (rewards.std() 1e-6)确认策略确定性在策略评估阶段如果使用确定性策略需要确保每个状态都有明确的动作映射。5.2 贝尔曼误差突增的解决方案在深度强化学习中突然的贝尔曼误差增大通常表明经验回放污染旧数据与新策略不匹配。建议定期清除过时数据使用优先级回放时调整重要性采样权重目标网络滞后更新频率不匹配导致的不稳定。可以尝试# 软更新替代硬更新 def update_target(net, target_net, tau0.01): for t, s in zip(target_net.parameters(), net.parameters()): t.data.copy_(tau * s.data (1 - tau) * t.data)探索不足某些状态-动作对缺乏数据。可以增加ε-greedy的ε值添加基于不确定性的探索奖励6. 数学原理到代码的映射技巧6.1 概率分布的代码实现理论中的求和∑_s P(s|s,a)在代码中通常有三种实现方式枚举法适合离散小空间for s in states: for a in actions: next_probs transition_probs[s,a] # 向量 expected_value np.dot(next_probs, values[next_states])采样法适合大空间next_state env.step(action) # 实际采样 target reward gamma * value_fn(next_state)向量化运算适合批量处理# transition_probs: [batch_size, state_dim, action_dim, state_dim] # values: [batch_size, state_dim] targets rewards gamma * np.einsum(bsas,bs-ba, transition_probs, values)6.2 矩阵运算的数值稳定技巧当实现解析解V (I - γP)^(-1)R时需要注意条件数检查cond np.linalg.cond(I - gamma * P) if cond 1e6: print(Warning: Ill-conditioned matrix!)添加正则项V np.linalg.solve(I - gamma * P 1e-6*np.eye(n_states), R)使用伪逆V np.linalg.pinv(I - gamma * P) R这些技巧在我实现的库存管理RL系统中成功将计算误差从1e-3降低到1e-6。
企业数字化 ERP 产品动态
相关推荐
还在为画技术图表头疼?Mermaid Live Editor让你用代码3分钟搞定专业图表! 还在为画技术图表头疼?Mermaid Live Editor让你用代码3分钟搞定专业图表! 【免费下载链接】mermaid-live-editor Edit, preview and share mermaid charts/diagrams. New implementation of the live editor. 项目地址: https://gitcode.com/GitHub_Tr… · 2026/11/16 18:37:15
抖音批量下载终极指南:3分钟搞定用户主页所有作品 抖音批量下载终极指南:3分钟搞定用户主页所有作品 【免费下载链接】douyin-downloader A practical Douyin downloader for both single-item and profile batch downloads, with progress display, retries, SQLite deduplication, and browser fallback support. … · 2026/11/14 5:17:44
VMware Unlocker终极指南:如何在Windows/Linux虚拟机中运行macOS系统? VMware Unlocker终极指南:如何在Windows/Linux虚拟机中运行macOS系统? 【免费下载链接】unlocker VMware Workstation macOS 项目地址: https://gitcode.com/gh_mirrors/unloc/unlocker
想要在Windows或Linux电脑上体验macOS系统却受限于VMware兼… · 2026/10/29 23:27:36
滨州高低压电工证怎么考能一次过?考前押题帮你搞懂 滨州高低压电工证怎么考能一次过?考前押题帮你搞懂 之前考的证在外省能不能转过来?这是很多人考滨州高低压电工证前最关心的问题。其实, 滨州高低压电工证… · 2026/11/16 18:36:39
电工证绿通值不值得考?实操考试心里没底怕挂科?别慌,看完这篇全明白了 电工证绿通值不值得考?实操考试心里没底怕挂科?别慌,看完这篇全明白了 实操考试心里没底怕挂科?你不是一个人。尤其是在南阳这类水利工程从业者集中的地区,电工证绿通不仅是一张纸,更是一把打开高薪岗位的钥匙。但问题是, 电工证绿通值不值得考… · 2026/11/16 18:36:39
昆明电工证培训考证怎么考?工地太忙根本没时间复习考试 昆明电工证培训考证怎么考?工地太忙根本没时间复习考试 工地太忙根本没时间复习考试,这几乎是每位建筑工人的共同痛点。特别是像电工这样的特种作业岗位,不仅需要实际操作经验, 昆明电工证培训考证… · 2026/11/16 18:36:39
设备维修电工工作业绩怎么考 电子证书怎么拿到手 设备维修电工工作业绩怎么考 电子证书怎么拿到手 实操考试心里没底怕挂科?设备维修电工工作业绩怎么考,电子证书怎么拿到手,这是很多在开封房建工程一线工作的电工都关心的问题。别慌,跟着我这套实操流程走,你也能顺利通过考试,拿到国家认可的电子证书… · 2026/11/16 18:36:39
在玉林如何考电工证千万别踩坑全攻略 在玉林如何考电工证千万别踩坑全攻略 你是不是正为找不到工作发愁?是不是因为缺个特种作业证而被拒之门外? 在玉林如何考电工证 ,成了你现在最迫切的问题。别再被那些“包过”“速成班”忽悠了, 千万别踩坑… · 2026/11/16 18:36:39
通榆考高压电工证过期了不知道怎么复审延期?良心建议来了 通榆考高压电工证过期了不知道怎么复审延期?良心建议来了 证书过期了不知道怎么复审延期?你不是一个人,这事儿在高压电工证圈里太常见了。很多人拿到证之后,觉得“有证就行”,结果一拖再拖,等到用的时候才发现证书早就过期了。这不仅影响工作,还可能面… · 2026/11/16 18:35:36
长春初级电工证怎么考?通过率揭秘全在这里 长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/16 3:21:55
国内电工证报考条件与考试时间 低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/16 3:01:18
电工作业时如何断电?电子证书到底能不能全国通用? 电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/16 8:30:17
电工证培训的通知在哪考?别再被中介骗了 电工证培训的通知在哪考?别再被中介骗了 你是不是还在为 电工证培训的通知在哪考 发愁?网上搜了一堆信息,结果要么是挂羊头卖狗肉的培训机构,要么就是打着“包过”旗号的骗子?别急,今天我来给你讲讲, 电工证培训的通知… · 2026/11/16 0:00:34
电工证去哪个部门考核值不值得考 信阳转岗人真实经历分享 电工证去哪个部门考核值不值得考 信阳转岗人真实经历分享 怕考不过白交培训费?你不是一个人,信阳的李师傅去年刚转岗做电工,就因为没搞清楚电工证去哪个部门考核,差点交了8000块的培训费。别急,下面这份实操考试全攻略,告诉你电工证到底值不值得考… · 2026/11/16 0:00:34
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:43
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:57
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:48