首页/新闻资讯/正文详情

RL-赵-(九)-Policy函数拟合算法-Policy Gradient算法02-1:目标函数/metrics的选取01【average state value】

发布时间:2026/9/27 23:33:31 来源:云帆数科 栏目:资讯中心
RL-赵-(九)-Policy函数拟合算法-Policy Gradient算法02-1:目标函数/metrics的选取01【average state value】
RL-赵-(九)-Policy函数拟合算法02:目标函数/Metrics的选取【①average state value;②average one-step reward】、目标函数的梯度∇J(θ)一、目标函数的选取(Metrics to define optimal policies)【2类】有两类形式的目标函数/metrics:The average state valueAverage one-step reward1、The average state value2种常见表达形式:vˉπ =∑s∈Sd(s)vπ(s)≐E[∑t=0∞γtRt+1]\begin{aligned} \bar{v}_{\pi}\:=\sum_{s\in\mathcal{S}}d(s)v_{\pi}(s) \\[2ex] \doteq\mathbb{E}\left[\sum_{t=0}^\infty\gamma^tR_{t+1}\right] \end{aligned}vˉπ​​=s∈S∑​d(s)vπ​(s)≐E[t=0∑∞​γtRt+1​]​第一大类是the average state value, 或者简单地称为 average value。这个metric定义如下:vˉπ =∑s∈Sd(s)vπ(s) \bar{v}_{\pi}\:=\sum_{s\in\mathcal{S}}d(s)v_{\pi}(s)vˉπ​=s∈S∑​d(s)vπ​(s)其中vˉπ\bar{v}_\mathrm{\pi}vˉπ​是state values的加权平均;d(s)≥0d(s)≥0d(s)≥0是对于状态sss的权重因为∑s∈Sd(s)=1\sum_{s\in S}d(s)=1∑

相关推荐

Codeforces Round #707 Div2 1501C. Going Home
Codeforces Round #707 Div2 1501C. Going Home

题意&#xff1a; 给我们一个长度为n&#xff08;4<n<2e5&#xff09;的数组a&#xff08;0<a[i]<2.5e6&#xff09;&#xff0c;然后需要我们判断是否存在四个下标x,y,z,w,使得a[x]a[y]a[z]a[w],存在则输出yes&#xff0c;否则no. 题解&#xff1a; 简单数论 其实… · 2026/9/27 23:33:25

原产地证怎么办才能帮客户真省关税?2026外贸CO、FTA优惠证书与RCEP办理清单
原产地证怎么办才能帮客户真省关税?2026外贸CO、FTA优惠证书与RCEP办理清单

文/林芳老师 很多业务员把原产地证当成报关时顺带的一张纸&#xff0c;客户没提就不办。其实它是整套单据里少见的“能直接帮进口商少交税款”的凭证&#xff1a;同样的货、同样的报价&#xff0c;附一张符合规则的优惠原产地证&#xff0c;客户清关时适用的税率就可能比最惠国… · 2026/9/27 23:33:25

STM32 GPIO点灯深度解析:从寄存器到时钟树
STM32 GPIO点灯深度解析:从寄存器到时钟树

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 23:33:19

揭阳百度推广优化避坑指南:5个免费工具提升30%转化
揭阳百度推广优化避坑指南:5个免费工具提升30%转化

揭阳百度推广优化避坑指南:5个免费工具提升30%转化 改个需求建站公司拖一周?别忍了。很多揭阳老板觉得百度推广难搞,其实是被“黑箱”操作坑了。今天直接甩出5个 免费工具 ,教你自己盯数据,不再当冤大头。 运营目标与指标:别只看点击量… · 2026/9/28 0:08:54

5个坑讲透wordpress文章自动发布功能避坑指南
5个坑讲透wordpress文章自动发布功能避坑指南

5个坑讲透wordpress文章自动发布功能避坑指南 备案流程一头雾水,很多新手在配置服务器时就卡住了,以为只要把代码传上去就能跑,结果发现文章定时发布功能死活不生效。这时候你需要的是一份 避坑指南… · 2026/9/28 0:08:24

3个实战技巧让wordpress流量插件数据翻倍新手入门必看
3个实战技巧让wordpress流量插件数据翻倍新手入门必看

3个实战技巧让wordpress流量插件数据翻倍新手入门必看 自己不会代码想做网站,是不是看着后台那些复杂的设置就头大?别慌,很多新手入门时都卡在这一步。其实,wordpress流量插件的核心不在于你懂多少代码,而在于你如何用最简单的配置,… · 2026/9/28 0:07:54

3个关键维度教你怎么选软件下载网站地址
3个关键维度教你怎么选软件下载网站地址

3个关键维度教你怎么选软件下载网站地址 备案流程一头雾水?别慌,选错地址直接卡死。很多创业团队负责人盯着域名发呆,其实【怎么选】才是核心。今天用3个维度拆解【软件下载网站地址】,避开90%的坑。 域名后缀决定备案生死… · 2026/9/28 0:07:54

怎么在阿里云建网站:告别模板,3步搞定保姆级建站教程
怎么在阿里云建网站:告别模板,3步搞定保姆级建站教程

怎么在阿里云建网站:告别模板,3步搞定保姆级建站教程 还在忍受那些千篇一律、配色刺眼且毫无品牌感的模板网站吗?很多老板一上来就买现成模板,结果上线后发现客户觉得“廉价”,自己看着也闹心,完全撑不起企业的专业形象。其实,真正能留住客户、体现实… · 2026/9/28 0:07:48

电子商务网站建设的结论对比评测
电子商务网站建设的结论对比评测

电商建站避坑:最佳实践总结与运维实战 改个需求建站公司拖一周,后台数据还乱得像一团麻?这种憋屈感,我猜很多老板都经历过。别再被销售话术忽悠了,电子商务网站建设的结论核心不在于“看起来多花哨”,而在于底层架构是否稳固、运维是否透明。今天咱们不… · 2026/9/28 0:07:36

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介&#xff1a;这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程&#xff0c;从线性调频&#xff08;LFM&#xff09;信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑&#xff0c;面向电子信息工程、计算机、数学等专业学生&#xff0c;适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介&#xff1a;基于PyTorch的多模态虚假新闻检测项目完整代码包&#xff0c;面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者&#xff0c;解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征&#xff0c;以Res… · 2026/9/27 0:00:01

制作网页比较方便的软件怎么选?一文搞懂避坑指南
制作网页比较方便的软件怎么选?一文搞懂避坑指南

制作网页比较方便的软件怎么选?一文搞懂避坑指南 很多老板一上来就问:做个网站多少钱?但我反问他:你的域名买了吗?服务器租了吗?他一脸懵。这就是典型的“域名服务器搞不懂”。别急,今天咱们不聊虚的,直接 一文搞懂 那些让你头秃的技术名词。… · 2026/9/28 0:00:06

婚恋网站实战案例:避开3个高价坑,省钱50%还能跑赢流量
婚恋网站实战案例:避开3个高价坑,省钱50%还能跑赢流量

婚恋网站实战案例:避开3个高价坑,省钱50%还能跑赢流量 找婚恋网站建站公司,最怕的就是被坑高价。很多同行跟我吐槽,报价单上写得模棱两可,功能栏里全是“高级定制”、“专属UI”,结果落地全是套壳。今天不聊虚的,直接甩几个我经手的 实战案例… · 2026/9/28 0:00:19

济南做网站多少钱:3个案例拆解,防黑源码下载全攻略
济南做网站多少钱:3个案例拆解,防黑源码下载全攻略

济南做网站多少钱:3个案例拆解,防黑源码下载全攻略 上周济南一个做建材的老板找我,脸都绿了。他的官网首页弹出了赌博广告,后台被植入了挖矿脚本。他慌得问我:“网站被黑挂马不知道怎么办?能不能直接找之前的外包公司要源码下载,看看哪里被动了手脚?… · 2026/9/28 0:00:25

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码