首页/新闻资讯/正文详情

RL-赵-(七)-不基于模型2-计算Q/ActionValue-TD算法01:Sarsa03【One-Step】【Sarsa做PE后立刻进行PU➜...➜最优策略(参考值迭代算法)】

发布时间:2026/9/27 22:28:35 来源:云帆数科 栏目:资讯中心
RL-赵-(七)-不基于模型2-计算Q/ActionValue-TD算法01:Sarsa03【One-Step】【Sarsa做PE后立刻进行PU➜...➜最优策略(参考值迭代算法)】
为了得到最优的policy还需要把这个policy evaluation过程和一个policy improvement相结合才可以。1、Sarsa与policy improvement结合来寻找最优策略RL的最终目标是找到最优策略。为了达到这个目的我们将Sarsa和一个policy improvement step相结合这个结合的算法也称为Sarsa。需要注意的是当q(st,at)q(s_t,a_t)q(st​,at​)更新之后sts_tst​的policy将会立即更新。这是基于generalized policy iteration的思想策略更新是ϵ\epsilonϵ-greedy而不是greedy它能较好地平衡exploitation 和 exploralion需要强调的是核心思想是简单的即使用算法求解给定策略下的贝尔曼公式The complication emerges when we try to find optimal policies and work efficiently。这个就是我刚才说的我们把刚才的Sarsa的这个算法和police improvement的那个step相结合实际上结合之后的算法也被称为Sarsa或者在大多数情况下其实大家听到Sarsa的时候实际上是把policy evaluation和policy improvement这两个结合之后的算法那这个就是这个算法所对应的pseudocode我们来简要地过一下首先对于每一个episode我们来做什么样的事情呢如果当前的状态不是这个target state 我就做下面的事情注意这里边和我们之前所关注的任务有一点不同的是之前其实我们在网络世界当中你到达了目标你可以一直执行策略 你不需要停但是现在我们其实更关注的是我从一个状态出发我怎么样能够到达目标所以我也可以到目标之后我强行给它停下来 我也可以到达目标之后不停其实都是可以的 它们的区别不是很大就是我在到达目标之前我要做的是什么呢在t时刻我要得到这样一个experience也就是在st我根据当天的策略我take action at然后我得到reward rt1 我跳到下一个状态st1在下一个状态的时候我再根据在那个状态的策略然后我再进行一个action的采样得到at1那这个就得到了Sarsa所需要的experience然后继续这个experience我们下面要做的就是这个q value的update或者叫police evaluation我就计算q相对应的πt它的q value是多少这个就是我们刚才所给出来的那个式子在这个之后我们立刻做policy update也就是进行更新我怎么更新呢我就选这个q value谁大我就选谁但是这里面是一个ε-greedy的一个策略所以它不会给greedy action 1的概率而是给一个比较大的概率但是仍然给其它的action有一定比较小的一个概率然后得到了这个策略之后我就再用这个策略来生成新的experience然后再来不断地进行迭代关于这个算法我们第一个想要强调的是什么呢我再回到上一页当中就是这个算法实际上它有两个步骤第一个步骤就是q value update或者叫policy evaluation第二个步骤是policy update或者叫policy improvement那这两个步骤其实我在更新了q value之后我会立刻进行策略的更新这个和我们之前所说的policy evaluation不完全一样因为policy evaluation是我当前这个策略πt我要得到很多的数据然后把它的这个action value好好地给准确地给估计一下但是我只执行一下实际上我并没有得到很准确的相对应的action value我就立刻切换到policy update当中那这个其实也是基于generalized policy iteration的想法大家还记得我们之前学的policy iteration吗就是它也分为两个步骤 第一个是policy evaluation第二个是policy improvement这个是在每一个iteration当中都包含这两个步骤但是我要计算policy evaluation准确的那个state value的时候会需要无穷步所以在实际当中我可能只计算一步或者几步实际上我完全没有得到一个很精确的state value但是我也会立刻切换到这个policy的更新当中所以刚才介绍的Sarsa也是基于这种思想另外就是那个策略更新的不是一个greedy的策略而是一个ε-greedy的策略这样它能够尽可能地去访问到更多的(s,a)然后找到更优的策略 那这个基本上就是Sarsa的全部内容然后我想强调的一点是什么呢就是在刚才其实我们讲了两部分 第一部分就是我给定一个策略怎么求解相对应的贝尔曼公式得到Sarsa这样一个算法就那个迭代的算法第二个是我怎么把这个policy evaluation这样一个步骤和policy improvement相结合然后从而找到最优的策略所以我希望大家能够明白这里边那个最复杂的式子就迭代的那个式子它是来干嘛的它是来做policy evaluation就是来求action value的这是它最最核心的想法 你明白了这个idea之后剩下的其实就很简单了我就这个算法看起来会稍微复杂一点 为什么呢就是因为我还需要去迭代去改进策略我还需要去让这个策略是ε-greedy的等等所以总而言之希望大家能够抓住它的核心的思想以及明白每一部分都是在做什么样的事情

相关推荐

把数据质量嵌入流水线
把数据质量嵌入流水线

在数字化深度落地的当下,数据已成为企业核心生产要素,数据分析、智能决策、AI模型训练、业务运营复盘等所有核心场景,都高度依赖高质量数据支撑。当前多数企业的数据流水线已实现自动化调度、批量高效处理、实时流转传输等基础能力&#xff0… · 2026/9/27 22:28:35

GitHub 今日热门项目实战:用 TaoToken 统一 Key 跑通 Python/TypeScript/C++ 开源项目
GitHub 今日热门项目实战:用 TaoToken 统一 Key 跑通 Python/TypeScript/C++ 开源项目

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 22:28:28

政安晨【OpenClaw与Hermes指南】- 全球 Top 50 最爆火 + 最实用 OpenClaw Skills 技术分析报告:TaoToken 统一 Key 接入与 config.toml 骨
政安晨【OpenClaw与Hermes指南】- 全球 Top 50 最爆火 + 最实用 OpenClaw Skills 技术分析报告:TaoToken 统一 Key 接入与 config.toml 骨

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 22:28:28

基于ROS与Gazebo的AGV工业运输系统仿真实践
基于ROS与Gazebo的AGV工业运输系统仿真实践

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 23:30:07

硅碳相变:大模型API选型技术剖析,模型多为何项目更慢
硅碳相变:大模型API选型技术剖析,模型多为何项目更慢

硅碳相变:大模型API选型技术剖析,模型多为何项目更慢 如果你是一位后端工程师或AI应用开发者,大概率在某个深夜对着十几家AI API聚合平台的文档页反复切换过标签。每家都宣称自己接入了几百个模型,价格表长得像一份汇率牌价。真正… · 2026/9/27 23:30:07

Java面试被问Spring循环依赖,这样答加分
Java面试被问Spring循环依赖,这样答加分

三级缓存不是重点,AOP代理才是二级缓存就能解决普通对象的循环依赖:A实例化后放入二级缓存,B创建时能从二级缓存拿到A的早期引用。那为什么还要第三级?因为如果A需要被AOP代理,早期引用必须是代理对象,而不… · 2026/9/27 23:29:54

ab173 JSON懒人工具:零配置、离线、高安全的格式化校验神器
ab173 JSON懒人工具:零配置、离线、高安全的格式化校验神器

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 23:29:54

Windows 10下CH340驱动安装与文件替换实战指南
Windows 10下CH340驱动安装与文件替换实战指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 23:29:54

wordpress做微商城设计对比评测:备案不卡壳的5条黄金法则
wordpress做微商城设计对比评测:备案不卡壳的5条黄金法则

wordpress做微商城设计对比评测:备案不卡壳的5条黄金法则 很多老板一上来就问我:为什么我的wordpress做微商城,代码写得很漂亮,后台也配置好了,但就是没法正常访问?答案往往不在代码,而在 备案流程一头雾水 。… · 2026/9/27 23:29:54

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码