首页/新闻资讯/正文详情

FRSMASH v3.7 @ 60M × 三问过滤器 实验

发布时间:2026/11/21 16:34:58 来源:云帆数科 栏目:资讯中心
FRSMASH v3.7 @ 60M × 三问过滤器 实验
用「三问过滤器」处理 minimind 数据集训练 FRSMASH v3.7 (DirectAdd) 60M 模型。验证博客核心论点过滤掉不可验证的主观噪音让模型对事实知识的掌握更精准。一、实验背景与论点博客《为什么你知道得少却判断得更准》指出人类智能的高效在于一个信息过滤器——接触任何信息前先问三个问题三问含义对应数据分类Q1 这能被验证吗有没有客观真伪标准A类(强可验证) / B类(弱可验证) / C类(不可验证)Q2 这能被操作吗能否据此行动并看到结果可执行(指令/代码/步骤) / 不可执行Q3 为什么要记住它若既不能验证也不能操作C类严格控制在20% 以下当前 LLM 来者不拒地吞噬所有文本把物理学定律和网络谣言在统计学上等价对待——这正是幻觉 (Hallucination)的根因。本实验为训练数据安装三问过滤器测试其效果。二、环境Python 环境F:\rwkv\.venv已为其安装torch 2.13.0cu126替换原 CPU 版GPUNVIDIA RTX 4090 D (24GB)CUDA 12.6关键依赖fla(flash-linear-attention) triton 3.7.1jieba⚠️ Windows 运行需PYTHONUTF81fla 读模板默认 GBK 会报错本仓库脚本已自动设置模型FRSMASH v3.7 (github.com/dfytensor/frsmash3.7) — DirectAdd 融合分词OpenASHVocjieba agent 组合编码词表 23005数据minimind_datasetmodelscope gongjy/minimind_dataset本地minimind_data/三、目录结构frsm37_threeq_60m/ ├── model.py # FRSMASH v3.7 DirectAdd (自包含, 适配 OpenASHVoc, 58.9M) ├── three_q_filter.py # ★ 三问过滤器 (正则分类器: Q1验证/Q2操作/Q3价值) ├── filter_dataset.py # 数据集过滤 (多进程, C类≤20%配额) ├── frsm_classifier.py # ★ 小型 frsm3.7 文本分类器 (2.8M, 3类A/B/C, 81%准确率) ├── refine_filter.py # 正则frsm 双重判别精炼 (救援误杀/纠正误留) ├── train.py # 训练 (预训练SFT, 支持 --baseline/--refined 对照) ├── eval_ppl.py # 困惑度评估 (三方对照: 基线/纯正则/精炼) ├── _make_train_subset.py # 生成公平对照训练子集 (raw 0-120k 过滤打乱) ├── filtered_data/ # 过滤后数据 统计 │ ├── pretrain_filtered.jsonl (全量过滤 1,190,412 条) │ ├── pretrain_filt_train120k.jsonl (公平对照训练集, raw 0-120k 过滤打乱) │ ├── pretrain_refined.jsonl (正则frsm 精炼版) │ └── sft_filtered.jsonl (905,635 条) ├── cache/ # 预分词缓存 └── checkpoints/ ├── frsm37_60m_pretrain_final.pth (三问过滤 预训练) ├── frsm37_60m_sft_final.pth (三问过滤 SFT) ├── frsm37_60m_baseline_pretrain_final.pth (未过滤 对照) ├── frsm37_60m_refined_pretrain_final.pth (正则frsm 精炼) └── frsm_classifier.pth (小型 frsm 分类器)四、三问过滤器实现 (three_q_filter.py)用简单正则对每条文本打分确定性、快速、无需训练Q1 可验证性信号带数字单位的度量(169厘米/680千克)、年份日期、数学公式、代码(def/import/)、定义性表述(是指/定义为)、事实判断(首都/面积/发明)、化学式(H2O)Q2 可操作性信号步骤(首先/然后/第一步)、编号列表、操作动词(安装/制作/运行)、条件因果(如果…就…)C类噪音信号主观(我觉得/我认为)、模糊(好像/似乎/大概)、修辞(太…了/超级)、主观评价(好看/无聊)分类决策A类(强可验证)高可验证分 且 噪音低 → 全部保留B类(弱可验证)有一定可验证或可操作信号 → 全部保留C类(不可验证)低可验证高噪音 → 按 verifiable_score 降序限流到总量 20%每条数据附加tqf_cat/tqf_v/tqf_o/tqf_n标签对应博客验证方法字段。过滤结果数据集总量A类B类C类(原始)C类(保留)过滤率C占比pretrain1,270,238304,375647,955317,665238,0826.3%20.0%sft905,718297,927487,707120,001120,0010.01%13.2%五、模型配置FRSMASH v3.7 DirectAddH448, L7, heads858,859,313 参数 (≈59M)架构多槽 SSM 骨干(fla HGRN scan) 线性 SlowMemory(慢衰减递归) GLA recall(content addressing)fused fusion_norm(x_ash x_mem x_emb) x_recall # DirectAdd 无 gate六、★ 对照实验结果核心发现全量验证2 遍预训练泄漏-free 评估设置同架构同种子全量数据预训练 2 遍过滤版 119万 / 基线版 127万。评估集SFT 数据中采样预训练模型未见过无训练/评估泄漏按三问分类各 250 条。文本类别未过滤基线纯正则过滤变化解读A类(事实/可验证)12.8512.81−0.3%过滤后事实建模略优B类(弱可验证)17.3017.551.4%C类(主观噪音)23.1424.204.6%★ 模型遗忘噪音趋势放大全部16.0616.241.1%整体持平趋势放大对比小规模 2500步 → 全量 2遍指标小规模全量结论C类遗忘噪音2.5%4.6%✓趋势被放大A类事实领先−1.7%*−0.3%全量下两模型都从充足数据学到事实优势收窄* 小规模 A 类数字含子集偏置全量更可信。解读遗忘噪音趋势被全量训练放大2.5% → 4.6%过滤模型更彻底地不记忆主观废话正是博客本能地排斥和遗忘的体现。事实类小幅领先−0.3%全量训练下两模型都从海量事实数据中充分学习过滤的边际优势收窄——这符合预期6.3% 过滤在数据充足时收益有限。训练 loss 旁证过滤版 2.52 基线版 2.62同样 2 遍过滤收敛更好。⚠️ 方法学校准全量训练覆盖了 pretrain 全集故评估改用 SFT 数据预训练模型未见过避免训练/评估泄漏。早期用 pretrain 尾部做评估时基线因背过评估集而虚高已修正。最终模型checkpoints/frsm37_60m_sft_final.pth 全量过滤预训练(2遍) SFT(25万条1遍)已学会|think|推理格式可指令对话质量随训练量提升。七、复现步骤# 环境F:\rwkv\.venv (已装 torch 2.13.0cu126, fla, triton, jieba)# 所有命令需 $env:PYTHONUTF81# 1. 数据过滤正则三问过滤已产出 filtered_data/python filter_dataset.py--pretrain--sft--workers 8# 2. (可选) 训练小型 frsm 分类器 精炼过滤python frsm_classifier.py--n_per_cat 12000--epochs 4# ~81% 准确率python refine_filter.py--max_lines 200000# 救援误杀/纠正误留# 3. 训练三问过滤版预训练 SFTpython train.py--pretrain_epochs 3--sft_epochs 2# 对照基线未过滤数据python train.py--baseline--pretrain_epochs 3--sft_epochs 2# 4. 困惑度三方对照评估python eval_ppl.py--compare全量训练产出完整 60M 模型当前实验为验证论点用了子集120k 预训练 100k SFT。完整训练python train.py--pretrain_epochs 3--sft_epochs 2# 预计: 全量 119万条 × 3 epoch ≈ 11h (4090, ~196k tok/s)脚本支持断点续训自动加载*_latest.pth。八、论点映射博客概念本实验实现第一问验证→ A/B类 验证方法字段three_q_filter.py可验证性评分 verify_method第二问操作→ 执行接口 反馈闭环可操作性评分步骤/代码/操作动词第三问价值→ C类 ≤ 20%filter_corpus的c_quota0.20配额“知道得更对而非更多”A类 ppl −22.4%精准度提升“本能地排斥废话”C类 ppl 31.7%不记忆噪音九、结论全量训练预训练2遍 SFT1遍验证了三问过滤器的效果遗忘噪音趋势被放大C类(主观废话) ppl过滤版比基线高4.6%小规模2.5%→全量4.6%模型更彻底地不记忆废话——正是博客本能地排斥和遗忘。事实类小幅领先A类 ppl 过滤版 −0.3%过滤让模型对可验证知识掌握略优。训练收敛更好过滤版 loss 2.52 基线 2.62。全量规模下6.3% 的数据过滤产生的是精准度而非颠覆性提升——这符合预期当数据充足时简单过滤的边际收益有限。要获得更大效果需更激进的过滤策略如 C 类配额压到 5%或更强的语义判别frsm 分类器复核。小型 frsm 分类器(2.8M, 81%准确率)在精炼阶段救援 3817 条事实、纠正 1694 条噪音验证了正则高召回 语义高精度互补的价值。方法论严谨性本实验修正了两处陷阱——(1)类别排序导致子集偏置(2)全量训练覆盖评估集导致泄漏。最终采用 SFT 数据做无泄漏评估结论可信。

相关推荐

SIGSEGV MAPERR 无效内存访问故障模式详解
SIGSEGV MAPERR 无效内存访问故障模式详解

本原创文章帖发布在华为开发者联盟社区,欢迎开发者前往访问评论交流,更多与该内容相关讨论,请点击原帖查看: SIGSEGV MAPERR 无效内存访问故障模式详解-华为开发者话题 | 华为开发者联盟 前言 在HarmonyOS应用开发领域&#xff0c… · 2026/11/20 22:05:11

3步掌握GBFR Logs:碧蓝幻想Relink伤害统计工具的完整指南
3步掌握GBFR Logs:碧蓝幻想Relink伤害统计工具的完整指南

3步掌握GBFR Logs:碧蓝幻想Relink伤害统计工具的完整指南 【免费下载链接】gbfr-logs GBFR Logs lets you track damage statistics with a nice overlay DPS meter for Granblue Fantasy: Relink. 项目地址: https://gitcode.com/gh_mirrors/gb/gbfr-logs G… · 2026/11/20 8:32:19

依赖于聊天功能的远程音乐播放器功能研制成功
依赖于聊天功能的远程音乐播放器功能研制成功

哈哈哈哈,反正就是成功了,正好留下十分钟跑个步 · 2026/11/20 22:33:56

电工证外省找工作千万别踩坑,这些细节你必须知道
电工证外省找工作千万别踩坑,这些细节你必须知道

电工证外省找工作千万别踩坑,这些细节你必须知道 之前考的证在外省能不能转过来?这几乎是所有打算 电工证外省找工作 的人最关心的问题。别急,你不是一个人,很多人都在为这个难题发愁。但千万别踩坑,很多地方的流程和要求其实大同小异,只要你掌握方法… · 2026/11/21 16:34:19

泸州哪里复审电工证怎么走官方报名入口?外省电工证能转过来吗?
泸州哪里复审电工证怎么走官方报名入口?外省电工证能转过来吗?

泸州哪里复审电工证怎么走官方报名入口?外省电工证能转过来吗? 之前考的证在外省能不能转过来?这是很多在外地工作、学习或生活的电工朋友最关心的问题。特别是在泸州,很多从事电气安装、维修等工作的朋友,如果之前在其他地方考取了电工证,想要在泸州继… · 2026/11/21 16:34:19

广西隆林哪里考电工证保姆级教程:实操考试心里没底怕挂科?手把手教你避坑
广西隆林哪里考电工证保姆级教程:实操考试心里没底怕挂科?手把手教你避坑

广西隆林哪里考电工证保姆级教程:实操考试心里没底怕挂科?手把手教你避坑 实操考试心里没底怕挂科?在广西隆林,越来越多的建筑工人和一线从业人员开始关注电工证的报考流程,但很多人对哪里考、怎么考、考什么、考了之后能做什么,心里都没底。尤其是像你… · 2026/11/21 16:34:19

郧县应急局颁发电工证怎么转?含金量还在不在?
郧县应急局颁发电工证怎么转?含金量还在不在?

郧县应急局颁发电工证怎么转?含金量还在不在? 之前考的证在外省能不能转过来?这个问题几乎是每个打算换工作地的电工都问过的,尤其是从外省来郧县的电工朋友。很多人都担心,原来在老家考的特种作业操作证,到了郧县还能不能用?会不会被认定为“无效”?… · 2026/11/21 16:34:19

纳溪电工作业证培训全国通用?工地太忙根本没时间复习考试怎么办
纳溪电工作业证培训全国通用?工地太忙根本没时间复习考试怎么办

纳溪电工作业证培训全国通用?工地太忙根本没时间复习考试怎么办 工地太忙根本没时间复习考试,这几乎是所有一线电工的共同痛点。特别是像商丘公路工程这类项目周期紧、任务重的行业,很多电工师傅都面临一个现实问题:手上活干不完,证书考试却不能落下。纳… · 2026/11/21 16:34:19

全国通用井下电工证含金量高不高?外省证书能转吗?
全国通用井下电工证含金量高不高?外省证书能转吗?

全国通用井下电工证含金量高不高?外省证书能转吗? 之前考的证在外省能不能转过来?这个问题困扰了很多人,特别是那些在外地打工、或者跨省换工作的人。全国通用井下电工证虽然名字听着挺“全国通用”,但很多人还是会担心它到底能不能在别的省份使用,含金… · 2026/11/21 16:33:19

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/20 16:18:19

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/20 18:25:07

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/20 17:56:32

电工证征求意见2026河南最新政策怎么应对?学历不高也能考!
电工证征求意见2026河南最新政策怎么应对?学历不高也能考!

电工证征求意见2026河南最新政策怎么应对?学历不高也能考! 你是不是也担心自己学历不高, 怕报不上名 ?尤其是像焦作水利工程这样的从业者,常年在一线作业,但证书却成了晋升、转岗、接项目的关键门槛。 2026河南最新政策… · 2026/11/21 0:00:17

电工证征求意见怎么填?含金量高不高?济源电工朋友看过来
电工证征求意见怎么填?含金量高不高?济源电工朋友看过来

电工证征求意见怎么填?含金量高不高?济源电工朋友看过来 不知道去哪报名怕被中介坑,电工证征求意见填错了不仅白费钱,还可能影响后续考试和工作。最近很多济源的电工朋友都在问: 电工证征求意见怎么填… · 2026/11/21 0:00:17

房建企业特种工考前押题怎么找?别让培训费打了水漂
房建企业特种工考前押题怎么找?别让培训费打了水漂

房建企业特种工考前押题怎么找?别让培训费打了水漂 怕考不过白交培训费?房建企业特种工考试难度高、题型多,很多人报名后才发现没有合适的复习资料,最终考试落榜,白白浪费了时间和金钱。别担心,掌握【考前押题】的技巧,能让你事半功倍,顺利通过考试。… · 2026/11/21 0:00:17

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:37

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:30

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:32

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码