RL-赵-(五)-不基于模型1：MC算法05【MC ε-Greedy】【把只能从(s,a)对开始的条件去掉】【软策略：每个动作都有可能；通过ε平衡exploitation与exploration】-云帆数科

四、MC ε-Greedy（MC without exploring starts ）1、Soft Policies（软策略）什么是Soft policies？如果一个策略采取的每一个action的概率是positive，也就是这些action都有可能被采取，那么这个策略就称为soft policy。为什么要引入软策略？使用软策略，一些足够长的回合就能够足够多次地访问每个状态-动作对。【soft policy，a few episodes that are sufficiently long can visit every state-action pair for sufficiently many times.】因此，我们不需要必须将每个state-action pair作为出发点进行始大量的episodes。因此，exploring starts的前提要求可以被removed。那么我们使用什么样的 soft policies 呢？答案是ϵ-greedy policies。2、ϵ\epsilonϵ-greedy policiesπ(a∣s)={ 1−ϵ∣A(s)∣(∣A(s)∣−1),forthegreedyaction,ϵ∣A(s)∣,fortheother∣A(s)∣−1actions,\left.\pi(a|s)=\left\{\begin{array}{ll}1-\dfrac{\epsilon}{|\mathcal{A}(s)|}(|\mathcal{A}(s)|-1),\text{for the greedy action,}\\\\\dfrac{\epsilon}{|\mathcal{A}(s)|},\text{for the other }|\mathcal{A}(s)|-1\text{ actions,}\end{array}\right.\right.π(a∣s)=⎩⎨⎧1−∣A(s)∣ϵ(∣A(s)∣−1),∣A(s)∣ϵ,forthegreedyaction,fortheother∣A(s)∣−1actions,ε-Greedy algorithm在statesss，有一个greedy actiona∗a^*a∗，该action 对应的action valueqπ(s,a∗)q_π(s,a^*)qπ(s,a∗)是最大的，这时，根据ε-Greedy算法：给greedy actiona∗a^*a∗的选择概率为1−ε∣A(s)∣(∣A(s)∣−1)1-\cfrac\varepsilon{|\mathcal{A}(s)|}(|\mathcal{A}(s)|-1)1−∣A(s)∣ε(∣A(s)∣−1)；给其他不是greedy actiona∗a^*

企业数字化 ERP 产品动态

相关推荐

docker内TRT-LLM v1.3.0rc27 win11本机部署qwen3.8

1 下载模型：modelscope download --model cyankiwi/Qwen3.8-27B-AWQ-INT4 --local_dir H:\agent\trt-llm\models\qwen3.8-27b-awq为什么这个 AWQ 不是 14GB 而是 21GB？因为作者对 Qwen3.8 敏感的 Gated DeltaNet 状态更新层和因果卷积保留了 BF16 高精度… · 2026/9/24 17:55:25

OpenFOAM二次开发教程（03）：第一个求解器——从 icoFoam 骨架到能编译的 myFirstFoam

OpenFOAM二次开发教程（03）：第一个求解器——从 icoFoam 骨架到能编译的 myFirstFoam版本与事实声明求解器骨架的 #include 结构（setRootCase.H、createTime.H、createMesh.H、createFields.H、initContinuityErrs.H）来… · 2026/9/24 17:55:19

Spring Boot 统一返回体 + 全局异常处理：让接口不再吐 500 堆栈

Spring Boot 统一返回体全局异常处理：让接口不再吐 500 堆栈环境：Spring Boot MyBatis-Plus Lombok JDK 17上一篇把三层架构搭好之后，接口能查数据了，但返回的东西不太像样：直接一个裸数组。而且参数写错的时候&a… · 2026/9/24 17:55:19

FunClip 基于ASR的视频剪辑实战：2小时多说话人录像按人拆出3段精华

FunClip 基于ASR的视频剪辑实战：2小时多说话人录像按人拆出3段精华【免费下载链接】FunClip FunASR-powered video transcription, subtitle generation, and LLM-assisted clipping tool with a local Gradio UI. 项目地址: https://gitcode.com/GitHub_Trendin… · 2026/9/24 18:30:42

Java养老管理系统实战：SSM架构、费用计算与避坑指南

简介：这份源码面向 Java 开发者、养老行业信息化人员及系统设计学习者，以可运行的完整工程呈现中州养老系统的设计与实践。压缩包共 141 个文件，包括 120 个 Java 源文件、17 个 XML 配置文件，以及 YML、JSON、Git 忽略文件和说明… · 2026/9/24 18:30:36

RHEL 9.2虚拟机安装与初始化配置实战：从VMware到yum源

1. 写在开头：为什么又开始折腾RHEL了如果你是个常年跟Linux打交道的人，一定对Red Hat Enterprise Linux这个名字不陌生。我最近又重新把RHEL装了一遍，起因其实挺简单——手头有个测试环境需要模拟生产服务器的运行场景，而生产那边… · 2026/9/24 18:30:36

VMware Workstation 导入 OVF/OVA 虚拟机模板完全指南

开头如果你跟我一样，是个在 Windows 电脑上用 VMware Workstation 跑虚拟机的人，那你大概率遇到过这种情况：从网上下载了一个现成的虚拟机镜像，结果解压出来不是一整个文件夹，而是一堆扩展名很陌生的文件——.ovf、.vm… · 2026/9/24 18:30:30

IM聊天体验三支柱：消息状态、通知触达与多端同步

1. 为什么“聊天体验”不是UI动效，而是消息、通知、多端三根承重柱做即时通讯源码的人，十有八九栽在同一个认知陷阱里：以为把气泡动画调得丝滑、输入框加个打字提示、消息列表用上虚拟滚动，就算“体验做好了”。我带过7个IM项目团… · 2026/9/24 18:30:30

C++俄罗斯方块源码解析：从MFC工程到双缓冲游戏开发实践

简介：这是基于C实现的俄罗斯方块小游戏源码，面向C初学者和游戏开发入门的个人学习者，通过一个可运行的经典小游戏展示窗口程序的基本架构与游戏循环设计。压缩包共27个文件，大小约230KB，其中10个头文件用于类声明与接口… · 2026/9/24 18:30:30

基于YOLOv8的渔船作业监控系统：从环境搭建到边缘部署全流程

简介：这是一套面向计算机、人工智能、自动化等专业学生与教师的毕业设计级项目资源，围绕YOLOv8实现渔船作业监控系统，可用于毕设、课程设计、大作业或项目立项演示。压缩包共97个文件，约24.21MB，以70个Python源码文件为… · 2026/9/24 0:00:13

1D-CNN时间序列建模实战：从Conv1d原理到工业落地

简介：面向时间序列数据建模的一维卷积神经网络完整实现，适合深度学习入门者及需要快速验证时序模型的研究者，能够从音频、文本、传感器或股价等序列中挖掘局部特征与时间依赖。压缩包体积很小，只有3KB，内含3个Python脚… · 2026/9/24 0:00:26

柔软的L：汉语语流中被忽视的舌肌张力控制

1. 这个“L”不是字母表里的L，而是舌尖上的L最近在几个方言群和语音教学社群里，反复看到有人发一句：“也说字母L：柔软的长舌”。初看以为是英语发音课笔记，点开才发现全是方言爱好者、播音系学生、语言康复师甚至戏曲演… · 2026/9/24 0:00:44

RL-赵-(五)-不基于模型1：MC算法05【MC ε-Greedy】【把只能从(s,a)对开始的条件去掉】【软策略：每个动作都有可能；通过ε平衡exploitation与exploration】

相关推荐

了解更多？预约专属演示