RL-赵-(八)-ValueBased04-ActionValue估算：Deep Q-learning01（DQN）【目标：最优化网络参数⮕使得通过网络计算出的q是最优的】-云帆数科

RL-赵-(八)-Value-Based04：Deep Q-learning【两网络：固定T，更新M，定期将M的参数赋给T】【经验池】【目标：最优化网络参数-＞使得通过网络计算出的q是最优的】Deep Q-learning算法又被称为deep Q-network (DQN)：最早的一个和最成功的一个将深度神经网络算法引入到强化学习中；神经网络的角色从本质上来说就是一个非线性函数approximator；与下面的算法不同，是由于训练一个网络的方式；这个算法是最早的也是最成功的一个把深度神经网络引入到强化学习的一个算法。当然它不是最早的一个，因为在它之前已经有人把神经网络引入到强化学习当中，但是并不是那么成功。Deep Q-learning取得成功主要是在应用和方法这两个点上：在应用上它取得了非常好的效果，就是在一系列的游戏的控制上已经达到了人类控制的水平；然后在方法上它也使用了一些关键的技术，那这些技术在后边很多方法当中也被广泛地使用；在我们介绍Deep Q-learning之前我想先澄清一个问题，什么问题呢？有的同学可能会说刚才我们不是已经介绍了Q-learning with function approximation吗？那我为什么不能直接用Q-learning with function approximation这个算法呢？为什么还需要再去介绍一个Deep Q-learning呢？就是因为如下图的神经网络，参数是www，输入是sss和aaa，，然后输出是q^\hat{q}q^。其实我们用这个式子也是可以的这时候我需要对神经网络这个“值函数”进行非常底层的运算，我要计算出来它的梯度然后我要去直接赋值，然后对它的参数进行更新迭代。但是现在神经网络的工具包已经非常的成熟了，对我们很多人而言它就是一个黑盒，把数据给送进去它能够选择非常合适的参数和非常底层的算法去做很好的训练。所以从这个角度来说，我们不再会用这种这么底层的方法来人工计算迭代，而是会用我们接下来所介绍的Deep Q-learning的方法。我要训练神经网络我就需要一个，loss function或者我们叫objective function。一、Deep Q-learning损失函数Deep Q-learning旨在最小化目标函数/损失函数：J(w)=E[(R+γmax⁡a∈A(S′)q^(S′,a,w)−q^(S,A,w))2]\begin{aligned} J(w)=\mathbb{E}\left[\left(R+\gamma\max_{a\in\mathcal{A}(S')}\hat{q}(S',a,w)-\hat{q}(S,A,w)\right)^2\right] \end{aligned}J(w)=E[(R+γa∈A(S′)maxq^(S′,a,w)−q^(S,A,w))2]其中(S,A,R,S′)(S,A,R,S^{\prime})(S,A,R,S′)是随机变量。Deep Q-learning的损失函数实际上就是：Bellman optimality error，因为：q(s,a)=E[Rt+1+γmax⁡a∈A(St+1)q(St+1,a)∣St=s,At=a],∀s,aq(s,a)=\mathbb{E}\left[\left.R_{t+1}+\gamma\max_{a\in\mathcal{A}(S_{t+1})}q(S_{t+1},a)\right|S_t=s,A_t=a\right],\quad\forall s,aq(s,a)=E

企业数字化 ERP 产品动态

相关推荐

华为Atlas 300V 24G部署YOLOv5/v8：NPU推理加速卡实战全流程

大家搜“atlas部署yolo”、“atlas 300v 24g 是运算加速卡吗”的时候，大概率不是冲着地图软件去的，而是想搞明白华为昇腾（Ascend）这套AI硬件到底能不能用来跑自己的YOLO模型。我先给个明确结论：Atlas 300V 24G确实是运… · 2026/9/26 9:59:53

Python展示正态分布

正态分布在统计学中具有重要地位，被广泛用于描述现实世界中的许多随机现象。通过不同形式的正态分布模型，可以处理各种数据特征和应用场景。标准正态分布作为基础分布形式，常用于数据的标准化和统计推断；对数正态分布则用于描述对数呈正态分布的变量，如金融市场中的资产价… · 2026/9/26 9:59:47

2010 INFORMS探索60分钟内股价预测挑战

金融市场中股价波动瞬息万变，对其进行短期趋势预测一直是数据科学与金融工程领域的重要研究课题。随着高频交易与量化策略的兴起，构建精确的预测模型正逐步成为核心竞争力之一。本文聚焦于Kaggle平台的INFORMS数据挖掘竞赛任务，围绕其背景数据、建模目标、方法实现与扩展流… · 2026/9/26 9:59:47

Nebular Security 权限控制指南：基于 ACL 的角色授权体系详解

前端UI组件【免费下载链接】nebular :boom: Customizable Angular UI Library based on Eva Design System :new_moon_with_face::sparkles:Dark Mode 项目地址： https://gitcode.com/gh_mirrors/ne/nebular 点击查看免费下载导读本文讲解 Nebular&#xff08… · 2026/9/26 10:36:45

VSCode插件推荐：用TaoToken统一Key接入AI编程助手的settings.json配置骨架

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 10:36:45

$MacOS 安装 LaTeX 全流程：用 TaoToken 统一 Key 打通 MacTeX 与 VS Code 配置$

MacOS 安装 LaTeX 全流程：用 TaoToken 统一 Key 打通 MacTeX 与 VS Code 配置

如何使用VSCode插件codesight扫描出前端项目的风险依赖包并借助 npm-force-resolutions 修复之？

STM32底层理论：从寄存器映射到时钟树的硬件行为建模

1. “STM32理论”不是教科书目录，而是嵌入式工程师的底层认知地图很多人第一次看到“STM32理论”这四个字，下意识会以为是某本教材的章节标题，或者培训班PPT里一页带编号的幻灯片——灰底白字，写着“第3章：STM32体系结… · 2026/9/26 10:36:45

AI 隐藏“思维链”，是怕被人类监督污染！OpenAI首席科学家最新访谈：驾驭工程会越来越通用

数据库课后习题答案别硬背：当测试用例集刷，效率翻倍

简介：万常选版《数据库原理与设计》课后习题答案资源，覆盖第2至6章及第9章，适合正在学习关系模型、数据库建模、关系数据理论与模式求精的本科生、自学者作为复习与自测材料。压缩包共7个文件，含3个doc参考答案、2个sql示例脚本、… · 2026/9/26 0:00:21

OpenClaw 替代品？Hermes Agent 踩坑实录：macOS 飞书接入 TaoToken 配置

向下兼容与向上兼容：接口设计中的兼容性策略与工程实践

一次版本升级事故，是很多团队绕不过去的坎。线上环境里，服务端明明已经上线了新版接口，老的移动端还在照着旧文档传参数。请求一到网关，校验直接拒绝，用户操作失败，客服群炸了锅，开发群里开始互… · 2026/9/26 0:00:46

RL-赵-(八)-ValueBased04-ActionValue估算：Deep Q-learning01（DQN）【目标：最优化网络参数⮕使得通过网络计算出的q是最优的】

相关推荐

了解更多？预约专属演示