首页/新闻资讯/正文详情

RL-赵-(八)-Value函数拟合算法01-StateValue估算:TD函数逼近算法04【函数逼近器的选择:①线性逼近器;②非线性逼近器】【之前的表格形式是线性逼近器的一种少见的特殊情况】

发布时间:2026/9/26 19:05:28 来源:云帆数科 栏目:资讯中心
RL-赵-(八)-Value函数拟合算法01-StateValue估算:TD函数逼近算法04【函数逼近器的选择:①线性逼近器;②非线性逼近器】【之前的表格形式是线性逼近器的一种少见的特殊情况】
3、如何选择用于拟合的函数v^(s,w)\hat{v}(s,w)v^(s,w)如何选取函数v^(s,w)?\hat{v}(s,w)?v^(s,w)?第一种方法,也是之前被广泛使用的,就是linear function(线性函数:v^(s,w)\hat{v}(s,w)v^(s,w)相对于参数www是线性的)v^(s,w)=ϕT(s)w \hat{v}(s,w)=\phi^T(s)wv^(s,w)=ϕT(s)w这里的ϕ(s)\phi(s)ϕ(s)是一个feature vector, 可以是polynomial basis, Fourier basis,…。第二种方法是,现在广泛使用的,就是用一个神经网络作为一个非线性函数近似器。神经网络的输入是state,输出是v^(s,w)\hat{v}(s,w)v^(s,w),网络参数是www。3.1 线性函数逼近器(Linear function approximation)在线性的情况中v^(s,w)=ϕT(s)w\hat{v}(s,w)=\phi^T(s)wv^(s,w)=ϕT(s)w,我们有:∇wv^(st,wt)=ϕ(s) \nabla_w\hat{v}(s_t,w_t)=\phi(s)∇w​v^(st​,wt​)=ϕ(s)将这个带入到TD算法wt+1 = wt + αt [rt+1 + γv^(st+1,wt) − v^(st,wt)]∇wv^(st,wt) \begin{aligned}w_{t+1}\:=\:w_t\:+\:\alpha_t\:[r_{t+1}\:+\:\gamma\hat{v}(s_{t+1},w_t)\:-\:\hat{v}(s_t,w_t)]\nabla_w\hat{v}(s_t,w_t)\end{aligned}wt+1​=

相关推荐

AI代理如何重塑代码审查流程:从初筛到人工收口的工程实践
AI代理如何重塑代码审查流程:从初筛到人工收口的工程实践

做代码审查最怕的不是找不到问题,而是问题太多,人根本看不过来。我在团队里负责推动代码质量改进,试过静态扫描工具、覆盖率卡点、结对互审,但每次提交流水线一堵,第一个被牺牲掉的就是评审环节。后来我开始尝试把“AI… · 2026/9/26 19:05:22

昇腾Atlas 300V部署YOLO实战:从模型转换到AscendCL推理
昇腾Atlas 300V部署YOLO实战:从模型转换到AscendCL推理

1. Atlas 300V 24G身份辨析:它到底是不是运算加速卡先说结论:Atlas 300V 24G完全属于运算加速卡,但它不是我们平时接触的那种通用GPU加速卡。最近经常有人搜“atlas 300v 24g 是运算加速卡吗”,我猜不少人是被它的外观和接口迷惑了… · 2026/9/26 19:05:22

Atlas 300V 24G实战:YOLO模型转换与推理调优全攻略
Atlas 300V 24G实战:YOLO模型转换与推理调优全攻略

这篇不谈理论,直接讲我在 Atlas 300V 24G 上把 YOLO 系模型从“能跑”调到“跑稳”的过程。你可能刚通过热搜词搜到这张卡,正在纠结它到底算不算运算加速卡,或者已经拿到卡但卡在模型转换那一步——两种情况下这篇文章都能给你点实际帮助。 … · 2026/9/26 19:05:10

Jupyter Notebook 中 matplotlib inline 开关配置:TaoToken 统一 Key 接入与验证
Jupyter Notebook 中 matplotlib inline 开关配置:TaoToken 统一 Key 接入与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 19:39:20

Python直链解析实战:突破网盘限速的下载方案
Python直链解析实战:突破网盘限速的下载方案

1. 直链解析到底在解决什么问题很多人第一次接触"直链解析"这个词,是因为被网盘的下载速度折磨得没脾气。明明家里是千兆宽带,下载一个几百兆的文件,进度条却像蜗牛爬树,几十KB每秒的速度能磨掉一整个下午。这时候就会有… · 2026/9/26 19:39:01

从MyBatis缓存到Redis二级缓存:数据库性能优化实践
从MyBatis缓存到Redis二级缓存:数据库性能优化实践

1. 从一次线上故障说起:缓存优化到底解的是什么问题半年前我们团队接手了一个订单查询系统的性能治理,现象很典型:数据库CPU持续高位,高峰期查询接口的平均响应时间在800ms以上,部分复杂报表查询直接能把连接池打满。当… · 2026/9/26 19:38:55

蒙特卡洛积分:光线追踪降噪与采样策略的核心数学
蒙特卡洛积分:光线追踪降噪与采样策略的核心数学

1. 从一个全是噪点的渲染图说起我最早接触光线追踪时,第一反应是:这东西怎么这么慢?关掉一个看似平平无奇的场景,在1080p分辨率下跑一帧,动辄就是几分钟甚至几十分钟。更让人抓狂的是,好不容易算完&#xf… · 2026/9/26 19:38:55

生产LLM全链路管控:TaoToken统一Key下Token、成本、延迟三位一体优化落地
生产LLM全链路管控:TaoToken统一Key下Token、成本、延迟三位一体优化落地

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 19:38:48

pnpm 忽略构建脚本报错解析与解决方案
pnpm 忽略构建脚本报错解析与解决方案

1. 这个报错到底在说什么第一次看到[ERR_PNPM_IGNORED_BUILDS] Ignored build scripts: parcel/watcher2.5.6, canvas2.11.2这行红字,很多人第一反应是“我是不是装崩了”,然后开始疯狂重装、删node_modules、删 lock 文件,折腾半天发现报错还… · 2026/9/26 19:38:35

数据库课后习题答案别硬背:当测试用例集刷,效率翻倍
数据库课后习题答案别硬背:当测试用例集刷,效率翻倍

简介:万常选版《数据库原理与设计》课后习题答案资源,覆盖第2至6章及第9章,适合正在学习关系模型、数据库建模、关系数据理论与模式求精的本科生、自学者作为复习与自测材料。压缩包共7个文件,含3个doc参考答案、2个sql示例脚本、… · 2026/9/26 0:00:21

OpenClaw 替代品?Hermes Agent 踩坑实录:macOS 飞书接入 TaoToken 配置
OpenClaw 替代品?Hermes Agent 踩坑实录:macOS 飞书接入 TaoToken 配置

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 0:00:40

向下兼容与向上兼容:接口设计中的兼容性策略与工程实践
向下兼容与向上兼容:接口设计中的兼容性策略与工程实践

一次版本升级事故,是很多团队绕不过去的坎。线上环境里,服务端明明已经上线了新版接口,老的移动端还在照着旧文档传参数。请求一到网关,校验直接拒绝,用户操作失败,客服群炸了锅,开发群里开始互… · 2026/9/26 0:00:46

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码