相关推荐
最近正在研究如何使用强化学习（RL）技术微调大模型，读 VeRL 框架 的代码。VeRL 代码库在 examples/ 目录下提供了一些 RL 训练的示例脚本。其中，ppo_trainer/run_deepseek7b_llm.sh 和 grpo_trainer/run_deepseek7b_llm.sh 这两个脚… · 2026/11/5 1:30:31
考虑这个场景：在 RL 微调大模型的过程中，我们让模型生成了一批回答，每个回答是一串文字；然后，我们给每个回答里的每个字（token）算了一个“损失值”（可以理解为这个字写得“好不好”的… · 2026/11/5 1:30:31
)
最近正在入门大模型 RL 微调，阅读 VeRL 框架代码。在这篇博客中，我们从 VeRL 源码入手，解读一下 ppo 和 grpo 算法的 advantage 计算方法： # 来自 verl/trainer/ppo/core_algos.py register_adv_est(AdvantageEstimator.GAE) # … · 2026/11/5 1:30:31
1. 键盘与鼠标：人机交互的核心工具键盘和鼠标作为计算机最基础的输入设备，它们的设计原理和结构直接影响着我们的工作效率和使用体验。作为一名长期与各种输入设备打交道的技术爱好者，我深刻理解选择合适设备的重要性。不同类型的键盘和鼠标在… · 2026/11/5 2:16:48
1. 鸿蒙应用开发中的复杂数据类型概述在鸿蒙应用开发中，掌握复杂数据类型是进阶开发的关键一步。数组、元组和枚举这三种数据类型在实际开发中出现的频率极高，它们分别解决了不同类型的数据组织问题。对于零基础开发者来说，理解这些数据类型的… · 2026/11/5 2:16:48
1. 钓鱼攻击的技术路径解析1.1 云平台基础设施的信任滥用机制在2025年底爆发的这起大规模钓鱼攻击事件中，攻击者展现了对云平台基础设施的深刻理解。他们选择Google Tasks通知和Application Integration服务作为攻击载体，这绝非偶然。这两个服务在企业日… · 2026/11/5 2:16:48
简介：这是一份面向Vue.js中高级开发者的数据透视表功能组件资源，用于快速在Web应用中集成可拖拽配置的聚合分析表格，解决业务中常见的多维数据交叉统计与动态展示需求。资源包共20个文件，含7个核心JS逻辑文件（如HashTa… · 2026/11/5 2:16:48
1. 项目概述Claude Code作为新一代智能编程助手，正在改变开发者日常工作的方式。这款工具通过深度集成主流开发环境，为程序员提供了实时的代码建议、错误检测和自动补全功能。不同于传统的代码补全工具，Claude Code能够理解项目上下文&#x… · 2026/11/5 2:16:48
简介：这份资源面向嵌入式系统初学者与进阶开发者，围绕三星S3C2410（ARM920T内核）硬件平台与Windows CE系统的集成开发展开，提供实验手册与配套源码，帮助读者理解从系统架构、硬件接口到驱动与应用程序开发的… · 2026/11/5 2:15:48
/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49
/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 6:59:29
/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 7:02:38
1. 多智能体协作系统的时代背景2017年Transformer架构的诞生彻底改变了人工智能的发展轨迹。当行业还沉浸在单一大模型带来的性能突破时，Anthropic的研究团队已经将目光投向了更前沿的领域——如何让多个智能体通过协作产生超越单体能力的系统智能。这就像交响乐团中… · 2026/11/5 0:00:39
提到大模型的系统性入门，我先说个结论：这事真不难，难的是资料太散、路线太多，今天这个框架明天那个工具，新人很容易在“收藏夹吃灰”和“教程看到一半放弃”之间反复横跳。市面上关于大模型的内容少说有几十万篇&#… · 2026/11/5 0:00:39
1. 鸿蒙文件系统沙箱机制深度解析作为一名从Android转向鸿蒙开发的工程师，我深刻体会到文件系统访问是迁移过程中最先遇到的"拦路虎"。在Android上运行良好的文件读写代码，在鸿蒙真机环境却频频出现文件写入后神秘消失或直接抛出权限拒绝错误的… · 2026/11/5 0:00:39
/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49
/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 6:59:29
/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 7:02:38