首页/新闻资讯/正文详情

RL-赵-(八)-Value函数拟合算法01-StateValue估算:TD函数逼近算法02【目标函数】【平稳分布/Stationary distribution】

发布时间:2026/9/27 22:41:05 来源:云帆数科 栏目:资讯中心
RL-赵-(八)-Value函数拟合算法01-StateValue估算:TD函数逼近算法02【目标函数】【平稳分布/Stationary distribution】
二、Algorithm for State Value estimation1、Objective function首先,用一种更正式的方式:令vπ(s)v_\pi(s)vπ​(s)和v^(s,w)\hat{v}(s,w)v^(s,w)分别表示true state value和approximate函数;我们的目标是找到一个最优的www,使得v^(s,w)\hat{v}(s,w)v^(s,w)对于每个sss能最优地近似vπ(s)v_{\pi}\left(s\right)vπ​(s);这个问题就是一个policy evaluation问题,然后之后我们会再推广得到action value,稍后我们再将会把它推广到policy improvement;所以我们一步一步来,我们先看怎么样做policy evaluation;为了找到最优的www,我们需要两步:第一步定义一个目标函数 (object function) ;第二步是优化这个目标函数;目标函数:J(w)=E[(vπ(S)−v^(S,w))2] J(w)=\mathbb{E}[(v_\pi(S)-\hat{v}(S,w))^2]J(w)=E[(vπ​(S)−v^(S,w))2]我们的目标是找到最优的www,这样可以最小化J(w)J(w)J(w);SSS是一个随机变量,S∈SS\in \mathcal{S}S∈S,随机变量一定是有概率分布(probability distribution)的;期望值与随机变量(random variable)S∈SS\in \mathcal{S}S∈S有关。随机变量SSS的概率分布是什么?这通常令人困惑,因为我们到目前为止还没有讨论过state的概率分布;有几种定义SSS的概率分布的方式;第一种方式是使用一个平均分布(uniform distribution):它对待每个states都是同等的重要性,通过将每个state的概率设置为1/∣S1/|S1/∣S;这种情况下,目标函数变为:J(w)=E[(vπ(S)−v^(S,w))2]=1∣S∣∑s∈S(vπ(s)−v^(s,w))2 J(w)=\mathbb{E}[(v_\pi(S)-\hat{v}(S,w))^2]=\frac{1}{|\mathcal{S}|}\sum_{s\in\mathcal{S}}(v_\pi(s)-\hat{v}(s,w))^2J(w)=E[(v

相关推荐

WordPress无插件自动实现Tag关键字内链从零搭建实战指南
WordPress无插件自动实现Tag关键字内链从零搭建实战指南

WordPress无插件自动实现Tag关键字内链从零搭建实战指南 网站做好了没人访问,这大概是每个站长最头疼的事。明明内容质量不错,但就是没有流量,点击量惨淡。很多人第一反应是去买广告,或者找代做SEO,但这只是治标不治本。真正让搜索引擎愿… · 2026/9/27 22:40:59

5年老兵实测:网站空间虚拟主机续费对比评测,别被低价坑了
5年老兵实测:网站空间虚拟主机续费对比评测,别被低价坑了

5年老兵实测:网站空间虚拟主机续费对比评测,别被低价坑了 模板网站太丑不够用?别急着换皮,先看看你的服务器续费账单。很多老板以为建站是一次性买卖,交完钱就完事,结果第二年续费时发现价格翻了三倍,甚至直接掉线。今天我不讲虚的,直接上… · 2026/9/27 22:40:52

万字长文剖析基于 MCP 构建 AI 大模型新架构体系的落地实践:TaoToken 统一 Key/API 通道配置与验证
万字长文剖析基于 MCP 构建 AI 大模型新架构体系的落地实践:TaoToken 统一 Key/API 通道配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 22:40:46

泉州做网站的图解步骤:5步摆脱模板丑站痛点
泉州做网站的图解步骤:5步摆脱模板丑站痛点

泉州做网站的图解步骤:5步摆脱模板丑站痛点 别再盯着那些千篇一律的模板网站看了,那种“一眼假”的设计根本留不住客户。很多老板在泉州做网站时,第一反应就是找现成的模板套进去,结果上线后发现配色刺眼、布局拥挤,客户看一眼就走了。… · 2026/9/27 23:15:45

改需求拖一周?3步搞定wordpress个人下载网站模板怎么选
改需求拖一周?3步搞定wordpress个人下载网站模板怎么选

改需求拖一周?3步搞定wordpress个人下载网站模板怎么选 找建站公司改个按钮位置,对方回一句“需求变更,需排期一周”,你心里那个火是不是压都压不住?这行水太深,很多独立站长为了省那点开发费,最后被坑得连域名都保不住。面对市面上琳琅满目… · 2026/9/27 23:15:32

UART本质解析:异步串行通信原理与嵌入式实战避坑指南
UART本质解析:异步串行通信原理与嵌入式实战避坑指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 23:15:32

C语言循环语句深度解析:从语法到实战优化与避坑指南
C语言循环语句深度解析:从语法到实战优化与避坑指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 23:15:32

STM32F407+W5500实现TCP客户端:基于HAL库的以太网通讯实战
STM32F407+W5500实现TCP客户端:基于HAL库的以太网通讯实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 23:15:26

射频频率计模块选型避坑指南:50Ω阻抗、TCXO时基与前端架构
射频频率计模块选型避坑指南:50Ω阻抗、TCXO时基与前端架构

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 23:15:26

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码