RL-赵-(九)-Policy函数拟合算法-Policy Gradient算法02-5：目标函数/metrics的选取05【目标函数的梯度】-云帆数科

二、目标函数的梯度（Gradients of the metrics）给定一个metric，然后推导它的梯度然后，应用gradient-based methods去优化这个metric。gradient的计算是policy gradient methods中最复杂的计算部分!首先，我们需要区分不同的目标函数/metrics：v ˉ π = ∑ s ∈ S d ( s ) v π ( s ) ≐ E [ ∑ t = 0 ∞ γ t R t + 1 ] \begin{aligned}\bar{v}_{\pi}\:=\sum_{s\in\mathcal{S}}d(s)v_{\pi}(s)\doteq\mathbb{E}\left[\sum_{t=0}^\infty\gamma^tR_{t+1}\right] \end{aligned}vˉπ=s∈S∑d(s)vπ(s)≐E[t=0∑∞γtRt+1]v ˉ π 0 \bar{v}_\pi^0vˉπ0；r ˉ π ≐ ∑ s ∈ S d π ( s ) r π ( s ) ≐ lim ⁡ n → ∞ 1 n E [ ∑ k = 1 n R t + k ] \begin{aligned}\bar{r}_{\pi}\doteq\sum_{s\in\mathcal{S}}d_{\pi}\left(s\right)r_{\pi}\left(s\right) \doteq\lim_{n\to\infty}\frac{1}{n}\mathbb{E}\left[\sum_{k=1}^{n}R_{t+k}\right] \\[4ex]\end{aligned}rˉπ≐s∈S∑dπ(s)rπ(s)≐n→∞limn1E[k=1∑nRt+k]第二，我们需要区分 the discounted 和 undiscounted casesGradients/梯度的统一表示形式：∇ θ J ( θ ) = ∑ s ∈ S η ( s ) ∑ a ∈ A ∇ θ π ( a ∣ s , θ ) q π ( s , a ) \color{red}{ \nabla_\theta J(\theta)=\sum_{s\in\mathcal{S}}\eta(s)\sum_{a\in\mathcal{A}}\nabla_\theta\pi(a|s,\theta)q_\pi(s,a)}∇θJ(θ)=s∈S∑η(s)a∈A∑∇θπ(a∣s,θ)qπ(s,a)其中目标函数J ( θ ) J(\theta)J(θ)可以是：v ˉ π = ∑ s ∈ S d ( s ) v π ( s ) ≐ E [ ∑ t = 0 ∞ γ t R t + 1 ] \begin{aligned}\bar{v}_{\pi}\:=\sum_{s\in\mathcal{S}}d(s)v_{\pi}(s)\doteq\mathbb{E}\left[\sum_{t=0}^\infty\gamma^tR_{t+1}\right] \end{aligned}vˉπ=s∈S∑d(s)vπ(s)≐E[t=0∑∞γtRt+1]v ˉ π 0 \bar{v}_\pi^0vˉπ0；r ˉ π ≐ ∑ s ∈ S d π ( s ) r π ( s ) ≐ lim ⁡ n → ∞ 1 n E [ ∑ k = 1 n R t + k ] \begin{aligned}\bar{r}_{\pi}\doteq\sum_{s\in\mathcal{S}}d_{\pi}\left(s\right)r_{\pi}\left(s\right) \doteq\lim_{n\to\infty}\frac{1}{n}\mathbb{E}\left[\sum_{k=1}^{n}R_{t+k}\right] \\[4ex]\end{aligned}rˉπ≐s∈S∑dπ(s)rπ(s)≐n→∞limn1E[k=1∑nRt+k]= ==可以表示严格相等（=），近似（≈）或者成比例等于（∝）；∑ s ∈ S \begin{aligned}\sum_{s\in\mathcal{S}}\end{aligned}s∈S∑：表示对s ss求和；η \etaη是一个在states下的分布或者权重，每一个state有一个权重η ( s ) \eta(s)η(s)；η \etaη对于不同的目标函数在不同的情况下它会呈现出来不同的distribution；∑ a ∈ A ∇ θ π ( a ∣ s , θ ) q π ( s , a ) \begin{aligned}\sum_{a\in\mathcal{A}}\nabla_\theta\pi(a|s,\theta)q_\pi(s,a)\end{aligned}a∈A∑∇θ

企业数字化 ERP 产品动态

相关推荐

个人用wordpress做网页避坑指南：搞懂安全再谈建站报价

个人用wordpress做网页避坑指南：搞懂安全再谈建站报价找建站公司最怕什么？不是技术不行，是报价黑箱。很多个人开发者拿着【个人用wordpress做网页】的需求去询价，对方张嘴就是“企业级安全加固”，报价直接翻三倍。你心里打鼓，这钱花… · 2026/9/27 4:23:12

3天搞定wordpress标签导航，新手入门避坑指南

3天搞定wordpress标签导航，新手入门避坑指南改个需求建站公司拖一周，这种憋屈事我见得太多了。上周有个做跨境电商的客户找我，说之前那家建站公司收了钱，改个标签分类的显示样式，邮件回了三封，电话打不通，人直接失联了。客户急得跳脚，因为… · 2026/9/27 4:23:06

汽配网站建设成本解析：3步搞定域名与服务器完整流程

汽配网站建设成本解析：3步搞定域名与服务器完整流程昨天凌晨两点，手机突然炸了。运营同事发来的截图里，公司官网首页赫然挂着一条赌博广告链接，后台日志显示服务器被植入了木马。那一刻，很多老板和站长都面临过这种绝望：网站被黑挂马不知道怎么办，数… · 2026/9/27 4:22:47

Flutter for OpenHarmony 实战：三方库 pedometer 的鸿蒙化适配指南

pedometer（4.2.0）做两件事：把自开机以来的累计步数推成流，以及判断"人在走"还是"已停下"。它的 API 面很小——两个静态 getter，连一个 MethodChannel 都没有——但它在鸿蒙上暴露了一个很典型的问… · 2026/9/27 5:08:41

建议收藏｜盘点2026年学生热捧的AI论文工具

一天写完毕业论文在2026年已不再是天方夜谭。最新实测数据显示，2026年AI论文工具正在颠覆传统写作方式，覆盖选题、查重、润色、排版等全流程，真正实现高效搞定论文，学生必备神器。一、全流程王者：一站式搞定论文全链路… · 2026/9/27 5:08:41

Linux上也能用Codex了？codex-app-mirror Linux Preview通道完整指南（Ubuntu/Fedora的DEB与RPM包）

Linux上也能用Codex了？codex-app-mirror Linux Preview通道完整指南（Ubuntu/Fedora的DEB与RPM包） 【免费下载链接】codex-app-mirror 原样镜像官方 Codex 桌面应用:每 15 分钟探测、SHA256 可校验、国内直连下载、 Mac 可增量更新 | Verbatim… · 2026/9/27 5:08:41

MDIO协议详解：从PHY寄存器读写到Linux驱动调试实战

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 5:08:35

个人知识库搭建指南：从笔记整理到高效复习

一、引言在日常学习和工作中，我们每天都会接触大量信息。如何高效地积累、整理和运用这些知识，是提升学习和工作效率的关键。一个结构清晰的个人知识库，有助于快速检索信息、建立知识之间的联系，让复习和回顾更加高效。下面仅从工… · 2026/9/27 5:08:35

I2C地址扫描实战：100KHz总线测试与Excel记录方法

MATLAB雷达信号脉冲压缩仿真：LFM线性调频、匹配滤波与距离分辨率实现

简介：这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程，从线性调频（LFM）信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑，面向电子信息工程、计算机、数学等专业学生，适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南：5大注意事项救急

汕头网站建设制作厂家避坑指南：5大注意事项救急改个需求建站公司拖一周，这种憋屈事我见得太多了。很多汕头老板找本地建站团队，签合同前看着方案挺美，一上线就变脸。今天不聊虚的，直接拆解找汕头网站建设制作厂家时的5个核心注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战：BERT+ResNet双塔与对比学习

简介：基于PyTorch的多模态虚假新闻检测项目完整代码包，面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者，解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征，以Res… · 2026/9/27 0:00:01

MATLAB雷达信号脉冲压缩仿真：LFM线性调频、匹配滤波与距离分辨率实现

汕头网站建设制作厂家避坑指南：5大注意事项救急

多模态虚假新闻检测实战：BERT+ResNet双塔与对比学习

RL-赵-(九)-Policy函数拟合算法-Policy Gradient算法02-5：目标函数/metrics的选取05【目标函数的梯度】

相关推荐

了解更多？预约专属演示