AI-Research-SKILLs 实战演示：AI Agent 自主完成 LoRA 微调脆弱性研究全流程

AI 技能人工智能大模型深度学习【免费下载链接】AI-Research-SKILLsComprehensive open-source library of AI research and engineering skills for any AI model. Package the skills and your claude code/codex/gemini agent will be an AI research agent with full horsepower. Maintained by Orchestra Research.项目地址https://gitcode.com/gh_mirrors/ai/AI-Research-SKILLs点击查看免费下载导读本文剖析 AI-Research-SKILLs 仓库中首个完整端到端自动科研演示——demos/autoresearch-norm-heterogeneity。该演示展示了一个 AI Agent 如何从过训练模型中 ETF 晶化导致 LoRA 微调脆弱这一初始假设出发自主完成文献调研、内循环实验、外循环反思、否定结果发现、研究方向转向、因果验证到论文写作的完整科研生命周期。阅读本文后你将理解自动科研双循环内循环实验 外循环综合架构的真实运作方式掌握负结果如何转化为更优研究发现并了解嵌入范数异质性Embedding Norm Heterogeneity这一可复现的 LoRA 脆弱性预测指标及其机理。演示项目全景本演示位于仓库的 demos/autoresearch-norm-heterogeneity 目录配套论文为 norm-heterogeneity-lora-brittleness.pdf与仓库中其他演示如 autoresearch-rl-brain-scan共同构成技能库的实战陈列馆见 demos/README.md。该演示调用了技能库中的三大核心技能族技能族仓库位置在演示中的角色Autoresearch0-autoresearch-skill/全流程编排、双循环架构ML Paper Writing20-ml-paper-writing/最终论文撰写Research Ideation21-research-ideation/假设生成与思维框架研究问题与初始假设背景过训练模型中的两个前沿问题演示开始时AI Agent 将两篇近期工作连接起来构建设想NeurIPS 2025 最佳论文亚军关于叠加superposition/ ETF 结构的研究指出语言模型头LM head中可观察到明确的 ETFEquiangular Tight Frame等角紧框架几何结构ICML 2025 灾难性过训练研究指出过度训练会导致模型下游可微调性fine-tunability急剧恶化。初始假设ETF 晶化ETF crystallization驱动过训练模型的 LoRA 微调脆弱性——即 LM 头中 ETF 结构的形成程度可以预测 LoRA 微调困难程度。假设的机械推理要求根据 0-autoresearch-skill/SKILL.md 中Research Discipline的质量标准好的 Agent 行为是假设必须带有机械推理X 因为 Y所以预测 Z而非单纯的试试 X。本假设满足这一要求ETF 结构几何→ 表示退化 → 微调脆弱行为具备可检验的明确预测。全流程六步复盘从假设到论文Agent 在自主运行中完成了以下六步第一步文献调研BootstrapAgent 先完成初始范围界定检索连接上述两篇论文的相关文献明确研究空白。按照 Autoresearch 技能的 Bootstrap 流程文献检索应使用多来源Exa MCP、Semantic Scholar、arXiv、CrossRef并将每篇论文的摘要保存到literature/目录。核心结论是尚未有人系统检验 ETF 几何与 LoRA 微调难易之间的直接因果联系这构成了研究切入点。第二步内循环实验Inner LoopAgent 在Pythia-410M 和 Pythia-1.4B两个规模、多个检查点上执行约束实验在每个检查点计算ETF overlap 指标衡量 LM 头表示与理想等角紧框架的几何重合度计算范数统计量norm statistics随后施加LoRA 微调并度量可微调性。这对应 Autoresearch 内循环的 Discovery 风味——检验关于某事为何如此的机械假设指标是测量而非单纯优化目标见 SKILL.md 的 The Inner Loop 章节。第三步发现否定结果Null Result关键转折点ETF overlap 几何与微调难度无关r 0.14——初始假设被实验数据直接证伪。在 Autoresearch 的研究纪律中负结果也是进展被反驳的假设告诉你它排除了什么、暗示了什么不应被视为失败见 SKILL.md 的 Research Discipline 与 Common Issues 章节。Agent 忠实地执行了这一原则将否定结果记录为有价值的发现。第四步外循环综合与转向Pivot外循环反思机制在此刻发挥了核心作用。Agent 识别出嵌入范数异质性用变异系数 CV 度量才是真正的因果预测因子模型规模相关系数 rPythia-410Mr -0.84Pythia-1.4Br -0.99按照 Autoresearch 外循环的方向决策标准见 SKILL.md 的 Deciding Direction这属于典型的PIVOT结果否定了关键假设且出现了比原问题更有意思的发现。PIVOT 的行动指引是带着新问题回到文献 → 重新引导Agent 正是据此完成了从ETF 预测脆弱性到实际上是范数异质性在起作用的自主转向。第五步因果深化实验Deepen相关性不等于因果。Agent 进一步执行因果实验在施加 LoRA 之前将范数拉平equalizing norms可微调性最高提升 79%。这一操作从相关性证据升级为因果证据与范数编码语义特异性的机理解释互相印证。第六步论文写作Conclude当外循环判断证据充分、findings.md足以支撑论文骨架时Agent 调用 ml-paper-writing 技能完成论文撰写产出 norm-heterogeneity-lora-brittleness.pdf。五大核心发现1. ETF overlap 指标与 LoRA 微调难度无相关性明确负结果ETF 几何结构无法预测微调困难r 0.14证伪了初始假设。这一负结果的完整价值在于它排除了一个看似合理实则无效的预测维度为后续转向提供了合法性。2. LM 头行向量的范数 CV 强预测去混淆可微调性r -0.99 1.4BLM head 行向量范数的变异系数Coefficient of Variation与去混淆后的可微调性呈强负相关范数越不均匀模型越难以微调。在 1.4B 规模上相关性达到 -0.99接近确定性关系。3. 预先拉平范数使相对可微调性最高提升 79%因果验证结果。仅仅在 LoRA 前对嵌入范数做归一化处理就能显著恢复过训练模型的可微调性——这是可操作的缓解手段。4. 效应与 LoRA 秩无关提高 LoRA 秩rank无法缓解该效应。这排除了通过增加参数容量吸收脆弱性的简单补救路径说明问题根源在表示本身而非适配器容量。5. 机理范数编码语义特异性与 LoRA 的均匀低秩更新形成阻抗失配论文给出的机理解释嵌入范数编码了语义特异性semantic specificity而过训练使这种特异性分布高度不均LoRA 施加的是均匀的低秩更新uniform low-rank updates与高度异质的范数分布之间产生阻抗失配impedance mismatch导致微调脆弱。双循环架构如何支撑这次科研转向演示的核心价值在于展示 Autoresearch 技能的双循环架构按设计工作内循环快速约束实验内循环负责执行假设 → 实验 → 测量 → 记录 → 学习的快速迭代检查点分析、LoRA 微调、指标计算目标是产出有清晰可测量结果的约束实验。在本演示中它负责在 Pythia-410M/1.4B 检查点上批量执行度量与微调。外循环综合与叙事生成外循环负责回顾结果 → 发现模式 → 更新 findings.md → 生成新假设 → 决定方向。本演示中外循环的独特贡献将一个负结果综合为一个转向决策进而找到比初始假设强得多的发现。正如 SKILL.md 所述目标是综合理解、找到故事——新颖性正来自这里。自主转向是核心看点Agent 自主完成了从ETF 预测脆弱性到实际上不范数异质性才是的真正的科研转向——它反驳了自己的初始假设找到了更优的预测因子通过因果实验完成了验证最终产出了一篇比原计划更有趣的论文。这是科研 Agent而非指标优化器的关键区别。配套研究基建状态、日志与记忆文件本演示背后依赖 Autoresearch 技能规定的一套工作区基建理解它们有助于复现类似的自动科研项目research-state.yaml 模板中央状态文件机器可读记录 project标题、研究问题、状态、领域、literature关键论文、开放问题、证据空白、hypotheses含 statuspending/active/supported/refuted/inconclusive、priority、parent 层级、experimentsproxy_metric、baseline_value、best_value、trajectory、outer_loopcycle、last_directiondeepen/broaden/pivot/conclude以及 workspace 资源位置。每次实验与反思后更新是 Agent 跨会话记忆的地面真值。findings.md 模板研究叙事 Agent 知识库双用途。回答四个问题当前理解、关键结果、模式与洞见、经验教训与约束、开放问题。质量检验标准是30 次内循环实验后人类应能仅凭它写出论文摘要。research-log.md 模板只追加的决策时间线条目类型包括 bootstrap、inner-loop、outer-loop、pivot、report、conclude。模板中给出了完整的示例条目涵盖发现型grokking 与睡眠阶段与优化型SwiGLU/RoPE 堆叠两种研究形态的日志写法。agent-continuity.md墙钟循环wall-clock loop机制——Claude Code 的/loop 20m与 OpenClaw 的 20 分钟 cron job每 20 分钟触发一次继续研究提示与科研内外循环完全解耦。复现与研究参考如何使用本演示仓库是只读的本演示的价值在于作为方法论样板理解自动科研方法论通读 0-autoresearch-skill/SKILL.md重点掌握 Two-Loop Architecture、Bootstrap 流程、内外循环的十个步骤、方向决策标准DEEPEN/BROADEN/PIVOT/CONCLUDE与 Git 协议协议提交必须先于结果提交作为轻量级预注册。按技能路由选择工具参考 skill-routing.md 的完整路由表——LoRA 微调对应03-fine-tuning/下的 Unsloth/Axolotl/LLaMA-Factory 等技能可解释性分析对应04-mechanistic-interpretability/论文写作对应20-ml-paper-writing/。研读配套论文阅读 norm-heterogeneity-lora-brittleness.pdf其完整呈现了从负结果到机理发现的论证链。对比姊妹演示autoresearch-rl-brain-scan 展示了同一双循环架构编排多个领域技能TRL/GRPO SAELens/TransformerLens产出DPO 是秩 1 对齐这一概念性洞见的另一条路径。结语autoresearch-norm-heterogeneity演示是对自动科研方法论的一次完整且可审计的实战验证负结果r 0.14不是研究的终点而是转向的起点范数 CVr -0.99 1.4B与 79% 的因果提升量构成了一个扎实的新发现。对任何希望让 AI Agent 从执行脚本升级为自主研究者的团队而言本演示及其背后的 Autoresearch 双循环架构、状态/日志/记忆三件套基建与技能路由机制提供了一套可直接借鉴的工程范式。赞分享AI 技能人工智能大模型深度学习【免费下载链接】AI-Research-SKILLsComprehensive open-source library of AI research and engineering skills for any AI model. Package the skills and your claude code/codex/gemini agent will be an AI research agent with full horsepower. Maintained by Orchestra Research.项目地址https://gitcode.com/gh_mirrors/ai/AI-Research-SKILLs点击查看免费下载相关推荐AI-Research-SKILLs 研究日志模板实战用 research-log.md 记录自主研究的决策时间线AI Research SKILLs 研究日志模板实战用 research log.md 记录自主研究的决策时间线 导读 本指南以 AI Research SAI 技能人工智能大模型深度学习AI Research SKILLs Demo Gallery 全览从 NeMo 评测、量化实验到全自主科研 Agent 的实战案例库AI Research SKILLs Demo Gallery 全览从 NeMo 评测、量化实验到全自主科研 Agent 的实战案例库 本文系统梳理 AI RAI 技能人工智能大模型深度学习AI-Research-SKILLs QLoRA 实战指南基于 bitsandbytes 的 4-bit 量化低秩微调全流程AI Research SKILLs QLoRA 实战指南基于 bitsandbytes 的 4 bit 量化低秩微调全流程 本篇技术指南以 bitsandbAI 技能人工智能大模型深度学习创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考