首页/新闻资讯/正文详情

【无标题】RL-赵-(八)-ValueBased04-ActionValue估算:Deep Q-learning02(DQN)【两网络:固定T,更新M,定期将M的参数赋给T】【经验池】

发布时间:2026/9/26 3:34:22 来源:云帆数科 栏目:资讯中心
【无标题】RL-赵-(八)-ValueBased04-ActionValue估算:Deep Q-learning02(DQN)【两网络:固定T,更新M,定期将M的参数赋给T】【经验池】
RL-赵-(八)-Value-Based04:Deep Q-learning(DQN)【两网络:固定T,更新M,定期将M的参数赋给T】【经验池】【目标:最优化网络参数⮕使得通过网络计算出的q是最优的】1、技巧01:Two Networks(两个网络)第一个技巧: 使用了两个网络,一个是main network, 另一个是target network。为什么要使用两个网络呢? 在数学上来说因为计算梯度的时候会非常的复杂,所以先去固定一个,然后再去计算另一个,这样就需要两个网络来实现。具体实现的细节:令w ww和w T w_TwT​分别表示mean network和target network的参数,它们初始化的时候是一样的。在每个iteration中,从 replay buffer【这里边包含了很多的experience的sample】 中 draw —个 mini-batch 样本{ ( s , a , r , s ′ ) } \{(s,a,r,s^{\prime})\}{(s,a,r,s′)}网络的输入包括 states ss和 actiona aa, 输出y = q ^ ( s , a , w ) y = \hat{q}(s, a, w)y=q^​(s,a,w)。y ^ \hat{y}y^​的目标值是y T ≐ r + γ max ⁡ a ∈ A ( s ′ ) q ^ ( s ′ , a , w T ) y_T\doteq r+\gamma\max_{a\in\mathcal{A}(s^{\prime})}\hat{q}(s^{\prime},a,w_T)yT​≐r+γmaxa∈A(s′)​q^​(s′,a,wT​)。然后为了更新Main Network 我们直接基于the mini-batch

相关推荐

Intel 在人工智能领域配 TaoToken:config.toml 骨架与报错排查
Intel 在人工智能领域配 TaoToken:config.toml 骨架与报错排查

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 3:34:16

双层Harness:让Coding Agent连续70轮自主开发
双层Harness:让Coding Agent连续70轮自主开发

如果你自己动手跑过 Coding Agent,八成有过这种体会:单独让它写个函数、补个测试,速度确实快;可一旦把“把这个项目做完”这种大目标扔给它,它很快就原形毕露——写了一半忘掉原始需求、跑挂了测试不修还要往下写、改数… · 2026/9/26 3:34:16

Manus逆向工程:用Python拆解AI智能体的ReAct与Plan-Execute
Manus逆向工程:用Python拆解AI智能体的ReAct与Plan-Execute

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 3:34:16

特斯拉ModelY焕新版音响升级怎么选?森索姆方案深度解析
特斯拉ModelY焕新版音响升级怎么选?森索姆方案深度解析

一、为什么焕新版Model Y车主普遍关注音响升级焕新版Model Y后驱版的扬声器数量相比老款有所减少,只配备9个扬声器,而焕新长续航版则升级到16个。这一代车型原厂没有独立功放模块,音频处理集成在车机内部直接驱动扬声器,单元以纸盆… · 2026/9/26 4:20:26

Meta Muse 爆火复盘:一台“云端电脑“,凭什么两周掀翻 AI 格局?
Meta Muse 爆火复盘:一台“云端电脑“,凭什么两周掀翻 AI 格局?

Meta Muse 爆火复盘:一台"云端电脑",凭什么两周掀翻 AI 格局? 上一篇《Meta 的 Muse 一夜涨了 2000 亿美元市值》发布后,很多读者来问同一个问题:市面上叫自己"AI 智能体"的产品没有一百也有八十&… · 2026/9/26 4:20:26

AgentScope多智能体编排框架实战:消息协作与RAG服务化
AgentScope多智能体编排框架实战:消息协作与RAG服务化

我这两年接触过的Agent编排框架不算少,但能让我一眼就想写文章推荐的,AgentScope算一个。先说清楚这不是什么新语言,也不是又一个只停留在Demo阶段的玩具项目,它是一套面向多智能体应用开发与部署的开源框架,核心解决的… · 2026/9/26 4:20:26

酒泉振达商贸有限责任公司客户评价如何
酒泉振达商贸有限责任公司客户评价如何

洞察行业趋势,锚定发展使命 钢材行业的痛点与转型方向西北区域基建、工矿、建筑装饰产业的持续发展,对钢材供应链提出了全新的要求。从城乡基础设施升级到工业厂房搭建,从市政公共项目建设到工矿设备配套,工程市场对钢材的品质稳定… · 2026/9/26 4:20:26

Manim 渲染为什么慢?怎么加速?一份实测数据(Manim 0.21.0)
Manim 渲染为什么慢?怎么加速?一份实测数据(Manim 0.21.0)

2026 年 9 月更新,测试版本 Manim Community Edition 0.21.0先说结论。短场景慢,主要原因不在画面复杂:每次调用 manim render 大约有 2 秒固定开销,一个 3 秒的 2D 场景里,这 2 秒占了 92%。单次调用平均连 1 个 CPU … · 2026/9/26 4:20:26

Markdown语法全解析:从基础到进阶的完整指南
Markdown语法全解析:从基础到进阶的完整指南

1. 为什么我劝你认真花两小时把 Markdown 语法吃透很多人第一次接触 Markdown,是在写 GitHub 的 README 文件,或者用 Typora、Obsidian 记笔记的时候。当时觉得这玩意儿不就是加几个符号吗,能有多难?结果真到用的时候,… · 2026/9/26 4:20:19

数据库课后习题答案别硬背:当测试用例集刷,效率翻倍
数据库课后习题答案别硬背:当测试用例集刷,效率翻倍

简介:万常选版《数据库原理与设计》课后习题答案资源,覆盖第2至6章及第9章,适合正在学习关系模型、数据库建模、关系数据理论与模式求精的本科生、自学者作为复习与自测材料。压缩包共7个文件,含3个doc参考答案、2个sql示例脚本、… · 2026/9/26 0:00:21

OpenClaw 替代品?Hermes Agent 踩坑实录:macOS 飞书接入 TaoToken 配置
OpenClaw 替代品?Hermes Agent 踩坑实录:macOS 飞书接入 TaoToken 配置

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 0:00:40

向下兼容与向上兼容:接口设计中的兼容性策略与工程实践
向下兼容与向上兼容:接口设计中的兼容性策略与工程实践

一次版本升级事故,是很多团队绕不过去的坎。线上环境里,服务端明明已经上线了新版接口,老的移动端还在照着旧文档传参数。请求一到网关,校验直接拒绝,用户操作失败,客服群炸了锅,开发群里开始互… · 2026/9/26 0:00:46

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码