首页/新闻资讯/正文详情

RL-赵-(八)-Value函数拟合算法01-StateValue估算:TD函数逼近算法05【案例:用线性逼近器/TD-Linear估计State Values(策略评估问题)】

发布时间:2026/9/27 22:41:43 来源:云帆数科 栏目:资讯中心
RL-赵-(八)-Value函数拟合算法01-StateValue估算:TD函数逼近算法05【案例:用线性逼近器/TD-Linear估计State Values(策略评估问题)】
一、案例背景考虑一个5×5的网格世界示例:给定一个策略,对于任意的s,as,as,a:π(a∣s)=0.2\pi(a|s)=0.2π(a∣s)=0.2我们的目标是基于该策略,估计state values (策略评估问题)总计有25种state values。设置:rforbidden = rboundary = −1,rtarget = 1,γ=0.9r_{forbidden}\:=\:r_{boundary}\:=\:-1,r_{target}\:=\:1,\gamma=0.9rforbidden​=rboundary​=−1,rtarget​=1,γ=0.9这个例子我们仍然考虑我们的grid-world example,这里是5*5的 一共有25个状态量。首先我们给出来了一个策略 用箭头大家也可以看到,这个策略是一个探索性的策略,在每一个状态它对5个action都有相同的概率都是0.2。我们下面要做的是什么呢?就是估计这个策略所对应的state value,对每一个状态我都要计算出来它的state value,这个本质上来说是一个policy evaluation的问题。如果我用基于表格的方法我肯定要存储25个state value,但是下面我要用TD-Linear的方法来计算,大家可以看到我们能够用比较少的参数也能够比较好地去近似这25个state value。Ground truth(求解贝尔曼公式的方法得到的每一个state真正的最优state value):为了实现这样的一个目标,我们需要数据(我们没有模型的情况下我们就需要数据),Experience 样本:这里的数据是我们一共有500个episode,然后每个episode有500步。每一个episode的出发的state action pair是随机选择的,并且服从一个均匀分布。二、求解方案1、表格形式的TD算法(TD-Table)为了对比,首先给出表格形式的TD算法(TD-Table)的结果:2、用 TD-Linear 来估计 State Value2.1 用平面进行拟合那么看一下TD-Linear是否也能很好估计出来state value呢?那么看一下TD-Linear是否也能很好估计出来state value呢?第一步就是要建立feature vector。要建立一个函数,这个函数也对应一个曲面,这个曲面能很好地拟合Q^{\mathrm{Q}}

相关推荐

小白也能轻松玩转龙虾:虾壳云一键部署 OpenClaw,Windows 安装包与 TaoToken 配置全流程
小白也能轻松玩转龙虾:虾壳云一键部署 OpenClaw,Windows 安装包与 TaoToken 配置全流程

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 22:41:43

打卡信奥刷题(3592)用C++实现信奥题 P11582 [CCC 2020] Searching for Strings
打卡信奥刷题(3592)用C++实现信奥题 P11582 [CCC 2020] Searching for Strings

P11582 [CCC 2020] Searching for Strings 题目背景 本题译自 Canadian Computing Competition 2020 Senior T3 Searching for Strings。 题目描述 计算字符串 nnn 的不同排列中,作为 hhh 的子字符串的数量。 输入格式 第一行一个字符串 n(1≤∣n∣≤2105)n(1… · 2026/9/27 22:41:43

学网站建设好不好?3个免费工具解决域名服务器难题
学网站建设好不好?3个免费工具解决域名服务器难题

学网站建设好不好?3个免费工具解决域名服务器难题 刚接个单,客户张嘴就问:“域名解析怎么配?服务器 IP 是多少?SSL 证书在哪申请?”你心里一紧,这俩词儿听着简单,实际操作起来全是坑。很多新手入行建站,卡死就在这一步:… · 2026/9/27 22:41:43

新造AI芯片的工程挑战:从场景定义到流片量产的关键取舍
新造AI芯片的工程挑战:从场景定义到流片量产的关键取舍

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 23:18:21

AAudio流控机制详解:从欠载卡顿到低延迟调优实战
AAudio流控机制详解:从欠载卡顿到低延迟调优实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 23:18:21

新松GCR协作机器人软件操作实战:从示教器到视觉力控全解析
新松GCR协作机器人软件操作实战:从示教器到视觉力控全解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 23:18:21

Redis NOAUTH 认证报错全解析:从 requirepass 到 ACL 的排查与治理
Redis NOAUTH 认证报错全解析:从 requirepass 到 ACL 的排查与治理

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 23:18:21

Cascode共源共栅放大器设计:从原理到仿真实操
Cascode共源共栅放大器设计:从原理到仿真实操

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 23:18:21

ROS与Gazebo的AGV工业运输仿真:从建模到自主导航全实战
ROS与Gazebo的AGV工业运输仿真:从建模到自主导航全实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 23:18:15

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码