最近ChatGPT横空出世。这款被马斯克形容为“强大到危险”的AI不但能够与人聊天互动还能写文章、改代码。于是人们纷纷想让AI替自己做些什么有人通过两分钟的提问便得到了一篇完美的论文有人希望它能帮自己写情书、完成工作我觉得Musk担心的应该是‘信息茧房’中的‘思考劫持’大家可以查一下传播学中的这两个概念几个测试案例小学白念了这是哪家不正经的小学教这个你把柳传志往哪放...这.....总结就这人工智障还图灵测试...但我们还是看一下原理看看主要的问题出在了哪个算法上...ChatGPT基本原理第一步 收集数据训练有监督的策略模型第二步 收集对比数据训练回报模型第三步 使用强化学习增强回报模型优化策略SFT生成模型GPT的有监督精调 (supervised fine-tuning)RM奖励模型的训练(reward model training)PPO近端策略优化模型( reinforcement learning via proximal policy optimization)相对于之前的GPT家族在第一步和第二步多出了人工干预找了一堆外包可以看出人的干预有多重要补充知识promptPrompting指的是在文本上附加额外的提示Prompt信息作为输入将下游的预测等任务转化为语言模型Language Model任务并将语言模型的预测结果转化为原本下游任务的预测结果对于传统的Fine-tuning范式以BERT为例我们会使用PLM提取[CLS]位置的特征将其作为句子的特征并对情感分类任务训练一个分类器使用特征进行分类对于Prompting它的流程分为三步在句子上添加Prompt。一般来说Prompt分为两种形式分别是完形填空用于BERT等自编码PLM与前缀用于GPT等自回归PLM例如I love this movie. It is a [MASK] movie. (完形填空模式)I love this movie. The movie is (前缀模式)2.根据Prompt的形式在[MASK]位置或Prompt前缀的后面进行预测单词3. 根据预先定义的Verbalizer(标签词映射)将单词转化为预测结果若预测单词’Good’则情感倾向为正向若预测结果为单词’Bad’则情感倾向为负向SFTGPT模型通过有监督的Prompt数据进行精调其实就是做next token prediction任务。然后用精调后的模型对每个输入的[文本prompt]进行generate生成4~9个输出并且进行解码操作数据举例raw_data 我们去成都旅游必须要去的地方是大熊猫繁殖基地。 prompt 大熊猫是 labels [一种有黑白斑纹的动物。,中国特有种主要栖息地是中国四川、陕西和甘肃的山区。, 已在地球上生存了至少800万年被誉为“活化石”和“中国国宝”即国兽世界自然基金会的形象大使是世界生物多样性保护的旗舰物种。, 属于熊科、大熊猫属的哺乳动物。仅有二个亚种。雄性个体稍大于雌性。体型肥硕似熊、丰腴富态头圆尾短头躯长1.2-1.8米尾长10-12厘米。] combine_data [raw_datapromptlabel for label in labels]RMRM模型的作用是对生成的文本进行打分排序让模型生成的结果更加符合人类的日常理解习惯更加符合人们想要的答案RM模型主要分为两个部分训练数据获取、模型训练在原论文中使用GPT的架构做了一个reward model这里需要注意的是要将模型的输出映射成维度为1的打分向量也就是增加一个linear结构RM模型的主要点还是在于人工参与的训练数据构建部分将训练好的SFT模型输入Prompt进行生成任务每个Prompt生成4~9个文本然后人为的对这些文本进行排序将每个Prompt生成的文本构建为排序序列的形式进行训练得到打分模型以此模型用来评估SFT模型生成的文本是否符合人类的思维习惯这里尝试两种方法这两种方法为direct score和rank scoreDirect score一个是直接对输出的文本进行打分通过与自定义的label score计算loss以此来更新模型参数Rank score二是使用排序的方法对每个Prompt输出的n个句子进行排序作为输入通过计算排序在前面的句子与排序在后面的句子的差值累加作为最终loss。Direct score方法这个方法就是利用Bert模型对标注数据进行编码用linear层映射到1维然后利用Sigmoid函数输出每个句子的得分与人工标记的得分进行loss计算以此来更新模型参数Rank score方法这种方法与前一种方法的区别在于loss函数的设计首先需要明白的是为什么在InstructGPT中不采用上面的方法主要的原因在于给生成句子在打分时不同标注人员的标准是不一样的而且这个标准是很难进行统一的这样会导致标注的数据评判标准不一样即使每个标注人员的理解是一样的但对于同一条文本给的分数也不一样的因此在进行标注时需要把这个定量的问题转为一种更为简单的处理方法采用排序来方法来进行数据标注可以在一定程度上解决这个问题两种方法区别明显的看出标注员在使用直接打分(Direct Score)时会由于主观意识的不同对同一个文本出现不同的分值而使用等级排序(Rank Level)来进行数据标注时可以统一标注结果Rank LossPPO算法邻近策略优化Proximal Policy OptimizationPPO算法的网络结构有两个。PPO算法解决的问题是 离散动作空间和连续动作空间 的强化学习问题是 on-policy 的强化学习算法。论文原文《Proximal Policy Optimization Algorithms》涉及到强化学习的概念太多就不在这里展开了Reference当ChatGPT“一本正经地胡说八道”时我们该思考什么_传播学_理论_信息ChatGPT是如何一本正经地胡说八道的_chatgpt胡说八道-CSDN博客https://zhuanlan.zhihu.com/p/461825791https://zhuanlan.zhihu.com/p/609795142
企业数字化 ERP 产品动态
相关推荐
Python分析随机变量与概率分布 在概率论与统计学的学习中,随机变量与概率分布是非常基础且重要的概念。掌握这些内容有助于理解和处理不确定性事件,在编程与数据分析中尤为重要。通过学习随机变量与概率分布,可以有效地建模不确定性现象,并结合概率知识进行数据分析。
本教程将介绍两类主要的随机变量:… · 2026/9/26 9:59:35
Python解析条件概率与独立性 在概率论中,条件概率和独立性是两个至关重要的概念。它们是处理不确定性和复杂系统中事件关系的基础。在许多实际问题中,需要通过条件概率来评估一个事件在已知其他事件发生的前提下的概率。这种关系在很多场景中都有实际应用,比如医疗诊断、金融市场预测和机器学习模型中。… · 2026/9/26 9:59:35
Python分析离散程度 在数据分析和统计学中,离散程度是衡量数据分布的重要指标。它描述了数据相对于中心位置的散布程度,即数据在平均值或中位数周围分散的程度。理解和应用这些度量有助于掌握数据的波动性,并为进一步的分析提供依据。
离散程度的度量方式多种多样,常见的包括极差、四分位差、… · 2026/9/26 9:59:35
Atlas 300V Pro部署YOLO:从模型转换到推理实战指南 1. 先聊清楚:Atlas 300V 到底是个什么东西最近在好几个群里看到有人问“Atlas 300V 24G 是运算加速卡吗”,还有人拿着“Atlas 部署 YOLO”这几个字直接来问我配置,我意识到很多朋友其实对 Atlas 这条产品线有点懵。简单说,华为 At… · 2026/9/26 10:34:54
Atlas 300V 24G推理加速卡实战:YOLO模型转换与部署全流程 一提到 AI 加速,很多人的第一反应还是 NVIDIA 的 A100、4090 这些主力卡。我这两年做服务器端和边缘端推理项目,接触最多反而不是 GPU,而是 Atlas 300V 24G 这类国产加速卡。今天这篇就围绕这张卡把两个事讲透:它到底算什么类型的… · 2026/9/26 10:34:54
Python 查询 Oracle 数据库返回具体字段名:TaoToken 统一 Key 配置与字段映射验证 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 10:34:54
Atlas 300V 24G:AI推理加速卡上的YOLO部署实战 前阵子有个做安防项目的朋友丢给我一个问题:Atlas 300V 24G是不是运算加速卡?我说这问题得拆开看,如果把它当通用计算卡用,那趁早换GPU;但如果你的目标是AI推理,尤其是想在这张卡上跑YOLO做目标检测、人流统… · 2026/9/26 10:34:54
数据库课后习题答案别硬背:当测试用例集刷,效率翻倍 简介:万常选版《数据库原理与设计》课后习题答案资源,覆盖第2至6章及第9章,适合正在学习关系模型、数据库建模、关系数据理论与模式求精的本科生、自学者作为复习与自测材料。压缩包共7个文件,含3个doc参考答案、2个sql示例脚本、… · 2026/9/26 0:00:21
OpenClaw 替代品?Hermes Agent 踩坑实录:macOS 飞书接入 TaoToken 配置 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 0:00:40
向下兼容与向上兼容:接口设计中的兼容性策略与工程实践 一次版本升级事故,是很多团队绕不过去的坎。线上环境里,服务端明明已经上线了新版接口,老的移动端还在照着旧文档传参数。请求一到网关,校验直接拒绝,用户操作失败,客服群炸了锅,开发群里开始互… · 2026/9/26 0:00:46