首页/新闻资讯/正文详情

RL-赵-(九)-Policy函数拟合算法-Policy Gradient算法01:基本概念【用参数化的函数来拟合π,来取代表格形式的π(表格中每个元素直接保存了某个s-a对的π概率值)】

发布时间:2026/9/27 6:56:16 来源:云帆数科 栏目:资讯中心
RL-赵-(九)-Policy函数拟合算法-Policy Gradient算法01:基本概念【用参数化的函数来拟合π,来取代表格形式的π(表格中每个元素直接保存了某个s-a对的π概率值)】
从本文开始,将从value-based methods转向到policy-based methods,从value function approximation到policy function approximation。一、Basic idea of policy gradient到目前,我们的policies都是用tables表示的。如下是所有state的action probabilities,存储在一个tableπ ( a ∣ s ) \pi(a|s)π(a∣s),表格中的每个实体由一个state和一个action表示【表格中每个元素直接保存了某个s-a对的π概率值】。我们可以直接访问或改变表格中的一个值。到目前为止 其实我们所有的策略全都是用表格来表示的比如说我有一些状态每一个状态就对应这个一行我有一些action 每一个action就对应一列 我想去里边找某一个状态下我take action a3它的概率是多少呢?我直接去这个表格当中就能找到 所以之前的策略全部是用表格的形式来表达的它表格的基本操作还是比较简单的 我想去里边访问一个量或者是我想改变一个量直接通过索引就可以实现现在,我们可以把表格改成函数。policies/策略用参数化的函数表示。π ( a ∣ s , θ ) \pi(a|s,\theta)π(a∣s,θ)其中θ ∈ R m \theta\in\mathbb{R}^mθ∈Rm是一个参数向量,可以用来表示π ππ这个函数里边的参数。例如,这个函数可以是一个神经网络(现在用的最广泛的这种函数的形式实际上就是神经网络),它的输入是s ss,输出是采取每个action的概率,参数是θ \thetaθ;Value Function Approximation函数中的参数我们用w ww来表示;Policy Gradient Methods 函数的参数我们用θ θθ来表示;优势:当state space比较大时(有非常多的state,甚至这个state是连续变化的那有无穷多个),表格化的表示是低效的,尤其是针对存储和泛化能力。泛化就是比如说我要去更新

相关推荐

用AgentENV训练Terminal-Bench-2:搭建Agent强化学习的沙箱后端
用AgentENV训练Terminal-Bench-2:搭建Agent强化学习的沙箱后端

用AgentENV训练Terminal-Bench-2:搭建Agent强化学习的沙箱后端 【免费下载链接】AgentENV AgentENV (AENV) is a distributed platform for running agent environments at scale. 项目地址: https://gitcode.com/gh_mirrors/age/AgentENV AgentENV&#xff… · 2026/9/27 6:55:58

别被建站报价忽悠 揭秘免费做调查问卷的网站真底细
别被建站报价忽悠 揭秘免费做调查问卷的网站真底细

别被建站报价忽悠 揭秘免费做调查问卷的网站真底细 找建站公司怕被坑高价,这是很多老板心里的痛点。市面上那些号称“全网最低”的建站报价单,往往藏着无数的隐形消费。今天咱们不聊虚的,直接拆解一个看似与建站无关,实则能帮你省下一大笔营销成本的场景… · 2026/9/27 6:55:52

文献阅读 260926-The Origins and Control of Forest Fires in the Tropics
文献阅读 260926-The Origins and Control of Forest Fires in the Tropics

The Origins and Control of Forest Fires in the Tropics 📌 基本信息 🛠️ 一、 引言部分简要总结 (Introduction Summary) 🔬 二、 研究方法详细介绍与分析 (Methodology Framework) 图片名:Figure 1 图例说明:Figu… · 2026/9/27 6:55:34

styled-system 变体(variant)解析:从 `@styled-system/variant` 的用法、源码到主题化扩展实战
styled-system 变体(variant)解析:从 `@styled-system/variant` 的用法、源码到主题化扩展实战

前端UI组件设计系统 【免费下载链接】styled-system ⬢ Style props for rapid UI development 项目地址: https://gitcode.com/gh_mirrors/st/styled-system 点击查看 免费下载 导读 本篇文章围绕 styled-system 项目中的 styled-system/variant 包展开&#xff… · 2026/9/27 7:31:58

【亲测免费】 mobile-mcp:项目的核心功能/场景
【亲测免费】 mobile-mcp:项目的核心功能/场景

mobile-mcp:项目的核心功能/场景 【免费下载链接】mobile-mcp Model Context Protocol Server for Mobile Automation and Scraping (iOS, Android, Emulators, Simulators and Real Devices) 项目地址: https://gitcode.com/GitHub_Trending/mo/mobile-mcp … · 2026/9/27 7:31:58

Read the Docs 子项目(Subprojects)完全指南:多项目文档聚合、自定义域名共享与跨项目联合搜索
Read the Docs 子项目(Subprojects)完全指南:多项目文档聚合、自定义域名共享与跨项目联合搜索

后端文档 【免费下载链接】readthedocs.org The source code that powers readthedocs.org 项目地址: https://gitcode.com/gh_mirrors/re/readthedocs.org 点击查看 免费下载 Read the Docs 提供的子项目(Subprojects)机制,让你… · 2026/9/27 7:31:58

RS485电路和协议
RS485电路和协议

RS485电路和协议RS485介绍电气特性网络拓扑协议层优缺点硬件电路典型电路终端电阻阻值485级联自动收发电路缺点1:通信速度慢缺点2:高波特率通信中的干扰风险缺点3:高结电容影响通信质量缺点4:驱动能力有限,限制通信距离… · 2026/9/27 7:31:52

优选算法的妙思之流:分治——快排专题
优选算法的妙思之流:分治——快排专题

专栏:算法的魔法世界 个人主页:手握风云 目录 一、快速排序 二、例题讲解 2.1. 颜色分类 2.2. 排序数组 2.3. 数组中的第K个最大元素 2.4. 库存管理 III 一、快速排序 分治,简单理解为“分而治之”,将一个大问题划分为若干个… · 2026/9/27 7:31:46

镜面检测(Mirror Detection)介绍
镜面检测(Mirror Detection)介绍

文章目录一、镜面检测介绍二、术语表 glossary三、镜面检测模型1.通用型语义分割 / 边缘检测模型:EGNet、MINet、LDF、VST2.经典语义分割骨干网络:PSPNet、DANet、UperNet3.显著目标检测 (Salient Object Detection, SOD)4.玻璃检测 (glass detection)5.… · 2026/9/27 7:31:40

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码