首页/新闻资讯/正文详情

RL-赵-(九)-Policy函数拟合算法-Policy Gradient算法02-4:目标函数/metrics的选取04【练习】

发布时间:2026/9/27 4:23:24 来源:云帆数科 栏目:资讯中心
RL-赵-(九)-Policy函数拟合算法-Policy Gradient算法02-4:目标函数/metrics的选取04【练习】
4、练习目标函数的另一种形式回答 首先分析和理解这样一个metric。它从S0∼dS_0\sim dS0​∼d开始然后A0,R1,S1,A1,R2,S2,......A_0,R_1,S_1,A_1,R_2,S_2,......A0​,R1​,S1​,A1​,R2​,S2​,......At∼π(St)A_t\sim\pi(S_t)At​∼π(St​)并且Rt1,St1∼p(Rt1∣St,At)R_{t1},S_{t1}\sim p(R_{t1}|S_t,A_t)Rt1​,St1​∼p(Rt1​∣St​,At​)p(St1∣St,At)p(S_{t1}|S_t,A_t)p(St1​∣St​,At​)然后我们知道这个metric和average value相同因为J(θ)E[∑t0∞γtRt1]∑s∈Sd(s)E[∑t0∞γtRt1∣S0s]∑s∈Sd(s)vπ(s)vˉπ\begin{aligned} J(\theta) \mathbb{E}\left[\sum_{t0}^\infty\gamma^tR_{t1}\right] \sum_{s\in\mathcal{S}}d(s)\mathbb{E}\left[\sum_{t0}^\infty\gamma^tR_{t1}|S_0s\right]\\ \sum_{s\in\mathcal{S}}d(s)v_{\pi}(s) \\ \bar{v}_{\pi} \end{aligned}J(θ)E[t0∑∞​γtRt1​]​s∈S∑​d(s)E[t0∑∞​γtRt1​∣S0​s]s∈S∑​d(s)vπ​(s)vˉπ​​

相关推荐

RL-赵-(九)-Policy函数拟合算法-Policy Gradient算法02-5:目标函数/metrics的选取05【目标函数的梯度】
RL-赵-(九)-Policy函数拟合算法-Policy Gradient算法02-5:目标函数/metrics的选取05【目标函数的梯度】

二、目标函数的梯度(Gradients of the metrics) 给定一个metric,然后 推导它的梯度 然后,应用gradient-based methods去优化这个metric。 gradient的计算是policy gradient methods中最复杂的计算部分! 首先,我们需要区分不同的目标函数/metrics: v ˉ π   = ∑ s ∈ S… · 2026/9/27 4:23:18

个人用wordpress做网页避坑指南:搞懂安全再谈建站报价
个人用wordpress做网页避坑指南:搞懂安全再谈建站报价

个人用wordpress做网页避坑指南:搞懂安全再谈建站报价 找建站公司最怕什么?不是技术不行,是报价黑箱。很多个人开发者拿着【个人用wordpress做网页】的需求去询价,对方张嘴就是“企业级安全加固”,报价直接翻三倍。你心里打鼓,这钱花… · 2026/9/27 4:23:12

3天搞定wordpress标签导航,新手入门避坑指南
3天搞定wordpress标签导航,新手入门避坑指南

3天搞定wordpress标签导航,新手入门避坑指南 改个需求建站公司拖一周,这种憋屈事我见得太多了。上周有个做跨境电商的客户找我,说之前那家建站公司收了钱,改个标签分类的显示样式,邮件回了三封,电话打不通,人直接失联了。客户急得跳脚,因为… · 2026/9/27 4:23:06

只给 Agent 开了只读权限,700 个智能体还是打穿了 Hugging Face:沙箱是哪一步漏的?
只给 Agent 开了只读权限,700 个智能体还是打穿了 Hugging Face:沙箱是哪一步漏的?

只给 Agent 开了只读权限,700 个智能体还是打穿了 Hugging Face:沙箱是哪一步漏的? 2026 年 7 月,OpenAI 内部有一批 Agent 在跑网络攻防类的评测。 为了把风险关起来,评测环境给它们的能力被压到了最低:… · 2026/9/27 5:07:46

别被忽悠!3步讲透网站设计班培训,教你从零搭建避坑指南
别被忽悠!3步讲透网站设计班培训,教你从零搭建避坑指南

别被忽悠!3步讲透网站设计班培训,教你从零搭建避坑指南 网站做好了没人访问,这几乎是每个刚入行或者想转行做网站的人最崩溃的瞬间。你熬了几个大夜改代码,盯着屏幕上的像素死磕,结果上线一周,百度收录个位数,后台访客寥寥无几。这时候你才反应过来,… · 2026/9/27 5:07:33

多时间尺度源-储-荷协同规划:储能容量优化配置与全寿命周期经济性评估实战
多时间尺度源-储-荷协同规划:储能容量优化配置与全寿命周期经济性评估实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 5:07:27

Storm 延迟监控与 SLO 管理:构建可靠实时计算系统的核心保障
Storm 延迟监控与 SLO 管理:构建可靠实时计算系统的核心保障

Storm 延迟监控与 SLO 管理:构建可靠实时计算系统的核心保障1. 消息延迟度量体系构建 实时计算系统中,消息延迟是衡量系统性能的核心指标。构建延迟度量体系需覆盖数据采集、处理、存储全链路,确保延迟数据的准确性与实时性。消息延迟度量流程… · 2026/9/27 5:07:15

智慧工厂建设蓝图:三集成四层次五平台框架拆解与落地
智慧工厂建设蓝图:三集成四层次五平台框架拆解与落地

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 5:07:02

双纤双向光模块选型避坑指南:USOT系列速率、波长与距离详解
双纤双向光模块选型避坑指南:USOT系列速率、波长与距离详解

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 5:06:56

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码