首页/新闻资讯/正文详情

RL-赵-(八)-Value函数拟合算法01-StateValue估算:TD函数逼近算法03【优化目标函数:梯度下降】【基于TD算法的梯度下降】

发布时间:2026/9/27 22:41:12 来源:云帆数科 栏目:资讯中心
RL-赵-(八)-Value函数拟合算法01-StateValue估算:TD函数逼近算法03【优化目标函数:梯度下降】【基于TD算法的梯度下降】
2、如何优化目标函数?答案:梯度下降当我们有了目标函数,下一步就是优化它。为了最小化目标函数J(w)J(w)J(w),我们可以使用gradient-descent算法:wk+1 = wk − αk∇wJ(wk ) \begin{aligned}w_{k+1}\:=\:w_k\:-\:\alpha_k\nabla_wJ(w_k\:)\end{aligned}wk+1​=wk​−αk​∇w​J(wk​)​真实梯度(true gradient)的表达式如下:∇wJ(w)=∇wE[(vπ(S)−v^(S,w))2]=E[∇w(vπ(S)−v^(S,w))2]=2E[(vπ(S)−v^(S,w))(−∇wv^(S,w))]=−2E[(vπ(S)−v^(S,w))∇wv^(S,w)]\begin{aligned} \nabla_wJ(w) =\nabla_w\mathbb{E}[(v_\pi(S)-\hat{v}(S,w))^2] \\ =\mathbb{E}[\nabla_w(v_\pi(S)-\hat{v}(S,w))^2] \\ =2\mathbb{E}[(v_\pi(S)-\hat{v}(S,w))(-\nabla_w\hat{v}(S,w))] \\ \begin{aligned}=-2\mathbb{E}[(v_\pi(S)-\hat{v}(S,w))\nabla_w\hat{v}(S,w)]\end{aligned} \end{aligned}∇w​J(w)​=∇w​E[(vπ​(S)−v^(S,w))2]=E[∇w​(vπ​(S)−v^

相关推荐

125.Agent-LangChain核心组件-删除消息removeMessage(模型输出后)
125.Agent-LangChain核心组件-删除消息removeMessage(模型输出后)

摘要:本文介绍如何在 LangChain 智能代理中通过 after_model 注解与 RemoveMessage 函数自动清理对话历史。核心思路是:在每次模型响应后检查消息总数,若超过阈值则删除最早的消息,从而将上下文控制在可控范围内。文中提供了完整的… · 2026/9/27 22:41:12

手把手教你用 Cline + 腾讯云 DeepSeek R1 限时免费 API 接入 TaoToken 统一通道
手把手教你用 Cline + 腾讯云 DeepSeek R1 限时免费 API 接入 TaoToken 统一通道

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 22:41:05

兰州官网SEO技巧速查手册:不懂代码也能搞定
兰州官网SEO技巧速查手册:不懂代码也能搞定

兰州官网SEO技巧速查手册:不懂代码也能搞定 很多老板拿着“自己不会代码想做网站”这个死结,在兰州的建站圈里转了好几圈。花了几万块做出来的站,百度搜不到,客户也找不到,钱白花不说,还耽误生意。别急,这份《兰州官网seo技巧速查手册》就是为你… · 2026/9/27 22:41:05

1553B 总线方式码与状态字核心概念与实操详解
1553B 总线方式码与状态字核心概念与实操详解

1. 核心概念与价值定位 1.1 方式码(方式代码)定义 方式码是 1553B 总线指令体系中专用系统级指令,区别于普通业务子地址通信; 当指令字中子地址字段 11111(十进制 31) 时,该指令判定为方式码… · 2026/9/27 23:15:13

CAN总线与菊花链选型实战指南:通信协议决策逻辑
CAN总线与菊花链选型实战指南:通信协议决策逻辑

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 23:15:07

写毛利语论文,别让 AI 替你“懂”那个词:我的分阶段工具清单
写毛利语论文,别让 AI 替你“懂”那个词:我的分阶段工具清单

如果你是毛利语(te reo Māori)专业的学生,大概很熟悉这种崩溃:一个词查出来有好几个意思,长音符号 macron(ā、ē、ī、ō、ū) 稍不注意就可能改变词义;更别说 whakapapa、whenua、… · 2026/9/27 23:15:07

汽车电子入门:从STM32到FOC的电机控制实战路线
汽车电子入门:从STM32到FOC的电机控制实战路线

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 23:15:07

STM32CubeMX 6.14入门:从下载安装到点灯调试实战指南
STM32CubeMX 6.14入门:从下载安装到点灯调试实战指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 23:15:07

青岛网站建设-中国互联一文搞懂
青岛网站建设-中国互联一文搞懂

青岛网站建设多少钱?中国互联方案对比避坑指南 不会写代码想做官网,最怕被坑。找青岛网站建设服务商,报价从3千到3万都有,到底多少钱才合理? 今天不吹牛,直接扒开“青岛网站建设-中国互联”这块牌子下的技术底裤。… · 2026/9/27 23:14:54

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码