首页/新闻资讯/正文详情

RL-赵-(七)-不基于模型2-时序差分/TD算法05-计算ActionValue:Q-Learning01【求贝尔曼最优公式⮕直接得最优ActionValue⮕直接更新目标π】【无需PE与PI迭代】

发布时间:2026/9/25 2:11:05 来源:云帆数科 栏目:资讯中心
RL-赵-(七)-不基于模型2-时序差分/TD算法05-计算ActionValue:Q-Learning01【求贝尔曼最优公式⮕直接得最优ActionValue⮕直接更新目标π】【无需PE与PI迭代】
RL-赵-(七)-不基于模型5:Q-Learning【TD算法】【离线】【基于RM算法在无模型条件下求解贝尔曼最优公式->直接计算出最优ActionValue->直接更新目标π】【无需PE与PI迭代】直接求解q*(最优action value)得到最优策略,无需在PE与PI迭代来找最优策略。直接估计optimal action values,不需要进行policy evaluation和policy improvement相互迭代计算来找最优策略。接下来,我们介绍Q-learning,这是最广泛使用的强化学习算法之一。Sarsa基于一个给定的policy估计action value,它必须整合policy improvement step才能寻找最优策略。Q-learning直接估计optimal action values,从而找到最优策略。TD算法【用来计算State Valuevvv】:vt+1(st)⏟newestimate=vt(st)⏟currentestimate−αt(st)[vt(st)−[rt+1+γvt(st+1)⏟υˉtTDtargetvˉt]]⏞TDerrorδt\color{red}{ \underbrace{v_{t+1}(s_t)}_{\text{new estimate}} =\underbrace{v_t(s_t)}_{\text{current estimate}} - \alpha_t(s_t)[\overbrace{v_t(s_t)-[\underbrace{r_{t+1}+\gamma v_t(s_{t+1})}_{\bar{\upsilon}_t}^{\text{TD target }\bar{v}_t}]]}^{\text{TD error}\ \delta_t}}newestimatevt+1​(st​)​​=currentestimatevt​(st​)​​−αt​(st​)[vt​(st​)−[TDtargetvˉt​rt+1​+γvt​(s

相关推荐

C语言详解
C语言详解

文章目录1 . 概要2 . C语言语法2.1 关键字解释、3 . C语言运算符优先级4 . 本质理解4.1 内存的本质:数字世界的生命与轮回4.2 语法的本质:掌控数字宇宙的至高功法5 . 语法应用5.1 简单示例5.2 指针:时空操控的灵魂之术5.2.1 跨越维度的力量5.… · 2026/9/25 2:11:05

RL-赵-(七)-不基于模型2-时序差分/TD算法04-计算ActionValue:n-step Sarsa【折中①one-step Sarsa与②∞-step MC:采样n步然后更新π】
RL-赵-(七)-不基于模型2-时序差分/TD算法04-计算ActionValue:n-step Sarsa【折中①one-step Sarsa与②∞-step MC:采样n步然后更新π】

RL-赵-(七)-不基于模型4:n-step Sarsa【TD算法】【Sarsa与MC的折中形式:采样n步就更新π】【Sarsa只需要一步的数据就更新;MC需等到一个episode数据搜集结束再更新】 n-Step Sarsa是Sarsa的一个变型或者是一个推广,因为n-step Sarsa包含了Sarsa和蒙特卡洛两种方法,也就是c… · 2026/9/25 2:11:05

高频扩容备件管理:固件兼容性与物理耦合失效应对指南
高频扩容备件管理:固件兼容性与物理耦合失效应对指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 2:10:59

CiLocks的keyevent速查表:8个Android按键码如何操控锁屏界面
CiLocks的keyevent速查表:8个Android按键码如何操控锁屏界面

CiLocks的keyevent速查表:8个Android按键码如何操控锁屏界面 【免费下载链接】CiLocks Crack Interface lockscreen, Metasploit and More Android/IOS Hacking 项目地址: https://gitcode.com/GitHub_Trending/ci/CiLocks CiLocks 是一款开源的 Android 锁屏… · 2026/9/25 2:36:01

BilibiliCacheVideoMerge路线图与社区指南:B站缓存视频合并为何转向Flutter重构?Issues与贡献完整清单
BilibiliCacheVideoMerge路线图与社区指南:B站缓存视频合并为何转向Flutter重构?Issues与贡献完整清单

BilibiliCacheVideoMerge路线图与社区指南:B站缓存视频合并为何转向Flutter重构?Issues与贡献完整清单 【免费下载链接】BilibiliCacheVideoMerge 🔥🔥Android上将bilibili缓存视频合并导出为mp4,支持安卓5.0 ~ 13&… · 2026/9/25 2:36:01

PaddleSpeech 标点恢复实战:基于 ERNIE 的 IWSLT2012-中文标点预测全流程指南
PaddleSpeech 标点恢复实战:基于 ERNIE 的 IWSLT2012-中文标点预测全流程指南

人工智能语音音频NLP媒体生成 【免费下载链接】PaddleSpeech Easy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation … · 2026/9/25 2:36:01

wheel-picker-cj 源码拆解:双 Scroll 同步实现滚轮吸附的底层原理
wheel-picker-cj 源码拆解:双 Scroll 同步实现滚轮吸附的底层原理

wheel-picker-cj 源码拆解:双 Scroll 同步实现滚轮吸附的底层原理 【免费下载链接】wheel-picker-cj 滚轮选择UI组件 项目地址: https://gitcode.com/Cangjie-TPC/wheel-picker-cj wheel-picker-cj 是一款基于仓颉(Cangjie)语言开发的… · 2026/9/25 2:36:01

阿里云部署OpenClaw:79元/年搭24小时AI代理,TaoToken统一Key接入配置指南
阿里云部署OpenClaw:79元/年搭24小时AI代理,TaoToken统一Key接入配置指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 2:36:01

Comp AI CRM 渲染性能实践:用 useTransition 取代手动加载状态,告别多余重渲染
Comp AI CRM 渲染性能实践:用 useTransition 取代手动加载状态,告别多余重渲染

后端前端CRM人工智能AI Agent 【免费下载链接】crm Comp AI CRM is an open source, CRM designed for AI agents. Agentic-first CRM. 项目地址: https://gitcode.com/gh_mirrors/crm48/crm 点击查看 免费下载 本指南基于 Comp AI CRM 仓库内置的 Vercel React 最… · 2026/9/25 2:35:55

数值优化(Numerical Optimization)学习系列-03-共轭梯度方法(Conjugate Gradient)
数值优化(Numerical Optimization)学习系列-03-共轭梯度方法(Conjugate Gradient)

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:31

创维E900V22D刷机全攻略:S905L3SB芯片兼容性解析与救砖实战
创维E900V22D刷机全攻略:S905L3SB芯片兼容性解析与救砖实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:31

MQTT协议原理与Broker服务器搭建实战:从Mosquitto到EMQX
MQTT协议原理与Broker服务器搭建实战:从Mosquitto到EMQX

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:37

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码