首页/新闻资讯/正文详情

RL-赵-(四)-基于模型01:值迭代算法(其中的值不是State Value,通过一步求出)【v₀(随机初始化)➞策略更新/PU➞π₁➞值更新/PE➞v₁➞PU➞π₂➞...】

发布时间:2026/9/25 6:14:43 来源:云帆数科 栏目:资讯中心
RL-赵-(四)-基于模型01:值迭代算法(其中的值不是State Value,通过一步求出)【v₀(随机初始化)➞策略更新/PU➞π₁➞值更新/PE➞v₁➞PU➞π₂➞...】
一、值迭代算法(Value iteration algorithm)如下,如何求解贝尔曼最优公式(Bellman Optimality Equation)?v=f(v)=max⁡π(rπ+γPπv) \color{red}{v=f(v)=\max_{\pi}\left(r_\pi\right.+\gamma P_\pi v)}v=f(v)=πmax​(rπ​+γPπ​v)根据之前的内容,我们知道可以采用压缩映射定理(contraction mapping thcorerin)使用迭代算法求解:vk+1=f(vk)=max⁡π(rπ+γPπvk),k=1,2,3,... v_{k+1}=f(v_k)=\max_{\pi}(r_\pi+\gamma P_\pi v_k),k=1,2,3,...vk+1​=f(vk​)=πmax​(rπ​+γPπ​vk​),k=1,2,3,...其中初始值v0v_{0}v0​是一个任意值;该算法最终能够发现最优状态值 (optimal state value) 和一个最优策略 (optimal policy) ;该算法被称为值迭代算法(Value iteration);1、值迭代算法详细过程vk+1 = f(vk )=max⁡π(rπ + γPπvk ),k=1,2,3... v_{k+1}\:=\:f(v_k\:)=\max_{\pi}\left(r_\pi\:+\:\gamma P_\pi v_k\:\right),k=1,2,3...vk+1​=f(vk​)=πmax​(rπ​+γPπ​vk​),k=1,2,3...可以分解为两部:Step 1:Policy Update, 这一步是处理等号右侧的优化问题,求解πk+1\pi_{k+1}πk+1​:πk+1=argmax⁡π(rπ+γPπvk) \pi_{k+1}=arg\max_{\pi}\left(r_{\pi}\right.+\gamma P_{\pi}\left.v_{k}\right)πk+1​=argπmax​(rπ​+γPπ​vk​)其中vkv_kvk​是给定的Step 2:Value Updatevk+1=rπk+1+γPπk+1vk v_{k+1}=r_{\pi_{k+1}}+\gamma P_{\pi_{k+1}}v_kvk+1​=rπk+1​​+γPπk+1​​vk​问题:vkv_kvk​是不是一个state value? 当然不是。从上面公式可以看到,而等式左边是vk+1v_{k+1}vk+1​,等式右边是vkv_k

相关推荐

Delphi连接MySQL 5.7必知:libmysql与dbxopenmysql50部署指南
Delphi连接MySQL 5.7必知:libmysql与dbxopenmysql50部署指南

简介:面向 Delphi 7 开发者,这份 zip 资源专门解决通过 dbExpress 连接 MySQL 5.7 时动态库缺失或不兼容的常见问题,内含可直接使用的 libmysql.dll 与 dbxopenmysql50.dll,并配有可运行验证的测试工程,省去了四处寻找… · 2026/9/25 6:14:43

STC8H1K08T开发环境搭建:从Keil C51支持包安装到LED点灯
STC8H1K08T开发环境搭建:从Keil C51支持包安装到LED点灯

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 6:14:43

SpringBoot大学生创新创业管理系统毕设实战指南
SpringBoot大学生创新创业管理系统毕设实战指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 6:14:43

IE/Firefox刷新时自动检查更新的底层原理与配置
IE/Firefox刷新时自动检查更新的底层原理与配置

1. 这不是“清缓存”技巧,而是让浏览器学会“主动问更新”的底层逻辑你有没有遇到过这样的场景:前端刚改完一个CSS样式,本地测试一切正常,一发到测试环境,同事打开页面还是旧的——刷新、硬刷新、CtrlF5全试了&#xf… · 2026/9/25 7:22:12

计算机毕业设计选题指南:主流方向、实操要点与避坑心得
计算机毕业设计选题指南:主流方向、实操要点与避坑心得

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 7:22:12

plannotator 架构决策记录(ADR)实践指南:从 ADR-0001 到 007 的决策治理体系
plannotator 架构决策记录(ADR)实践指南:从 ADR-0001 到 007 的决策治理体系

【免费下载链接】plannotator Annotate and review coding agent plans and code diffs visually, share with your team, send feedback to agents with one click. 项目地址: https://gitcode.com/gh_mirrors/pl/plannotator 点击查看 免费下载 导读 本文围绕 p… · 2026/9/25 7:22:12

智能车竞赛定向组备赛:直线抢时、八字保稳的控制调参指南
智能车竞赛定向组备赛:直线抢时、八字保稳的控制调参指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 7:22:00

i茅台预约脚本工程化实战:接口调度与自动化抢购
i茅台预约脚本工程化实战:接口调度与自动化抢购

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 7:22:00

vscode-leetcode 插件实战指南:在 VS Code 中完成 LeetCode 登录、选题、测试与提交的全流程配置
vscode-leetcode 插件实战指南:在 VS Code 中完成 LeetCode 登录、选题、测试与提交的全流程配置

开发工具 【免费下载链接】vscode-leetcode Solve LeetCode problems in VS Code 项目地址: https://gitcode.com/gh_mirrors/vs/vscode-leetcode 点击查看 免费下载 vscode-leetcode 是一款将 LeetCode 题库完整搬进 VS Code 的扩展,让你无需离开编辑器… · 2026/9/25 7:21:54

数值优化(Numerical Optimization)学习系列-03-共轭梯度方法(Conjugate Gradient)
数值优化(Numerical Optimization)学习系列-03-共轭梯度方法(Conjugate Gradient)

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:31

创维E900V22D刷机全攻略:S905L3SB芯片兼容性解析与救砖实战
创维E900V22D刷机全攻略:S905L3SB芯片兼容性解析与救砖实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:31

MQTT协议原理与Broker服务器搭建实战:从Mosquitto到EMQX
MQTT协议原理与Broker服务器搭建实战:从Mosquitto到EMQX

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:37

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码