首页/新闻资讯/正文详情

如何复现Qwopus-GLM-18B-Merged-GGUF实验:完整的技术栈与环境配置

发布时间:2026/11/21 16:28:57 来源:云帆数科 栏目:资讯中心
如何复现Qwopus-GLM-18B-Merged-GGUF实验:完整的技术栈与环境配置
如何复现Qwopus-GLM-18B-Merged-GGUF实验完整的技术栈与环境配置Qwopus-GLM-18B-Merged-GGUF是一个创新的64层模型合并实验通过堆叠两个优秀的Qwen3.5-9B微调模型创建了一个约18B参数的模型并通过1000步QLoRA微调进行修复以平滑层边界。本指南将详细介绍如何复现这一实验包括所需的技术栈、环境配置和完整的操作步骤。实验背景与目标Qwopus-GLM-18B-Merged-GGUF项目旨在填补9B和27B模型之间的性能空白创建一个能在12-16GB GPU上高效运行的中间规模模型。实验通过Frankenmerge层堆叠方法将两个不同训练重点的模型结合Qwopus v3.5专注于工具使用、代码生成和结构化推理GLM-5.1 Distill擅长结构化问题分解和指令遵循实验的核心假设是堆叠经过不同推理训练的模型层可以产生比单独模型更强大、更多样化的推理能力。硬件与软件要求推荐硬件配置GPUNVIDIA RTX 509032GB VRAM或同等配置CPUIntel Core Ultra 7 265K或更高内存125GB RAM合并过程需要约40GB峰值内存存储至少100GB可用空间原始模型和中间文件必要软件操作系统Linux推荐Ubuntu 22.04Python3.12CUDA12.8llama.cpp支持CUDA的最新版本Unsloth2026.4.6用于修复微调mergekit0.1.4尽管最终使用了自定义脚本PyTorch兼容CUDA 12.8的版本环境配置步骤1. 安装基础依赖# 创建并激活虚拟环境 python -m venv qwopus-env source qwopus-env/bin/activate # 安装核心依赖 pip install torch safetensors huggingface_hub datasets # 安装修复微调所需依赖 pip install unsloth bitsandbytes trl peft accelerate2. 编译llama.cpp带CUDA支持# 克隆llama.cpp仓库 git clone https://github.com/ggerganov/llama.cpp cd llama.cpp # 编译带CUDA支持的版本 make LLAMA_CUBLAS1 # 返回项目目录 cd ..3. 获取代码仓库git clone https://gitcode.com/hf_mirrors/KyleHessling1/Qwopus-GLM-18B-Merged-GGUF cd Qwopus-GLM-18B-Merged-GGUF模型合并步骤1. 准备源模型实验使用了两个源模型均来自Jackrong的HuggingFace仓库Qwopus3.5-9B-v3.5专注于推理、编码和代理任务Qwen3.5-9B-GLM5.1-Distill-v1专注于结构化问题分解合并脚本会自动从HuggingFace下载这些模型无需手动操作。2. 执行自定义合并脚本由于mergekit不支持Qwen3.5的混合注意力架构项目使用了自定义的合并脚本python3 frankenmerge.py此脚本执行以下操作下载两个源模型将所有张量从模型AQwopus复制到合并模型识别模型B的语言模型层张量重编号32并添加到合并模型将合并后的张量保存为分片的safetensors5GB/片共7片更新config.json以反映64层架构合并输出~/models/Qwopus-GLM-18B-merged/约33GB safetensors3. 合并过程资源使用RAM约40GB峰值磁盘33.15GB输出时间约15分钟主要是I/O操作GPU合并过程不使用GPUGGUF转换与量化1. 将Safetensors转换为GGUF格式python3 llama.cpp/convert_hf_to_gguf.py \ ~/models/Qwopus-GLM-18B-merged \ --outfile ~/models/Qwopus-GLM-18B-merged-f16.gguf \ --outtype bf16输出30GB GGUF文件851个张量耗时约40秒2. 量化为Q4_K_M格式llama.cpp/llama-quantize \ ~/models/Qwopus-GLM-18B-merged-f16.gguf \ ~/models/Qwopus-GLM-18B-merged-Q4_K_M.gguf \ Q4_K_M输出9.2GB Q4_K_M量化模型耗时约44秒压缩比3.2x修复微调推荐步骤原始合并模型存在代码输出格式问题通过1000步QLoRA微调可以显著改善1. 执行修复微调脚本# 先进行干运行验证所有组件加载正常 python3 heal-frankenmerge.py --dry-run # 完整修复微调 - 在RTX 5090上约14小时每250步保存检查点 python3 heal-frankenmerge.py --max-steps 1000 --num-samples 5000输出~/models/Qwopus-GLM-18B-healed/合并的16位safetensors2. 修复微调配置详情方法QLoRA4-bit NF4双量化LoRA rank64LoRA alpha32可训练参数346M / 9.5B量化3.62%学习率2e-5余弦调度预热步骤50步批大小8每设备2 × 4梯度累积最大步骤1000最大序列长度4096VRAM使用约13GB分配约17.5GB保留3. 转换并量化修复后的模型# 转换为GGUF python3 llama.cpp/convert_hf_to_gguf.py \ ~/models/Qwopus-GLM-18B-healed \ --outfile ~/models/Qwopus-GLM-18B-healed-f16.gguf \ --outtype bf16 # 量化为Q4_K_M llama.cpp/llama-quantize \ ~/models/Qwopus-GLM-18B-healed-f16.gguf \ ~/models/Qwopus-GLM-18B-healed-Q4_K_M.gguf \ Q4_K_M模型测试与基准评估1. 启动模型服务llama.cpp/llama-server -m ~/models/Qwopus-GLM-18B-healed-Q4_K_M.gguf \ --alias Qwopus-GLM-18B-healed --host 127.0.0.1 --port 8001 \ --ctx-size 65536 --flash-attn on --n-gpu-layers 99 --jinja2. 运行基准测试套件TEST_MODELQwopus-GLM-18B-healed python3 tests/test_qwopus_v35.py该测试套件包含44个测试覆盖9个类别基础能力、推理、工具调用、代理能力、结构化输出、上下文处理、多语言、编程和性能。3. 预期基准结果修复后的模型应达到以下性能水平类别原始合并修复后合并变化基础能力6/66/6—推理4/44/4—工具调用6/66/6—代理能力4/44/4—结构化输出2/22/2—上下文2/32/3—多语言2/22/2—编程11/1512/151性能2/22/2—总计39/44 (88.6%)40/44 (90.9%)1测试前端代码生成压力测试为验证修复效果可运行项目提供的前端代码生成测试。修复后的模型在6个复杂HTML/CSS/JS生成任务中表现出色测试描述通过检查项输出大小天气仪表板响应式布局、CSS变量、暗模式、5天预报网格9/914.5K字符电子商务产品页面图片库、颜色选择器、数量调整、标签内容、移动端粘性栏12/1216.7K字符动画SaaS landing页动态渐变、打字动画、滚动显示、自动轮播推荐、3种定价方案13/1324.1K字符分析仪表板SVG条形图带悬停提示、SVG环形图、可排序数据表、可折叠侧边栏、暗主题13/1322.3K字符多步骤注册3步表单向导、实时验证、密码强度计、美国各州下拉菜单、动画过渡、成功模态框12/1223.3K字符贪吃蛇游戏Canvas渲染、requestAnimationFrame游戏循环、方向键控制、碰撞检测、本地存储高分、难度递增11/1211.2K字符所有6个HTML样本都包含在项目的samples/目录中可直接在浏览器中打开查看效果。常见问题与解决方案1. mergekit失败问题mergekit在处理Qwen3.5的多模块架构和混合注意力时会失败解决方案是使用项目提供的自定义合并脚本frankenmerge.py它通过正则表达式重命名层张量无需了解具体架构细节。2. 量化过程中的内存问题如果量化过程中遇到内存不足可尝试关闭其他应用程序释放内存使用更小的批次大小考虑分阶段量化3. 修复微调时的Pickle错误TRL的SFTTrainer在多处理时可能尝试序列化ConfigModuleInstance对象导致错误解决方案是切换到 vanilla HuggingFaceTrainer使用预标记数据并设置dataloader_num_workers0。项目文件说明文件用途frankenmerge.py自定义合并脚本层堆叠heal-frankenmerge.pyQLoRA修复微调脚本tests/test_qwopus_v35.py44-test基准测试套件merge-config.yamlmergekit配置未使用仅作参考qwen35-fixed.jinja修复的Qwen3.5聊天模板samples/6个前端代码生成示例结论与进一步改进通过本指南您可以成功复现Qwopus-GLM-18B-Merged-GGUF模型的合并与修复过程。实验结果表明堆叠两个不同训练重点的9B模型可以创建一个性能接近35B MoE模型但资源需求更低的18B模型。未来可考虑的改进方向使用更多代码密集型训练数据解决剩余的代码格式问题尝试交错层堆叠A[0], B[0], A[1], B[1], ...而非顺序堆叠在多GPU设置上进行全参数微调而非QLoRA这个项目展示了开源社区的创新能力通过组合现有模型和技术可以创造出性能优异且资源友好的AI模型。创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关推荐

XiaoAi Patch 项目推荐
XiaoAi Patch 项目推荐

XiaoAi Patch 项目推荐 【免费下载链接】xiaoai-patch Patching for XiaoAi Speakers (小爱音箱), add custom binaries and open source software. Tested on LX06, LX01, LX05, L09A 项目地址: https://gitcode.com/GitHub_Trending/xia/xiaoai-patch 项目基础介绍和主… · 2026/11/21 16:28:57

Agent开发不是写代码,而是构建认知协作者
Agent开发不是写代码,而是构建认知协作者

1. 这不是技术问题,是角色错位带来的职业不适感“为什么我觉得agent开发这个工作怪怪的?”——这句话最近在好几个技术群和内部分享会上反复出现,不是抱怨,更像一种集体性的困惑。我带过三支不同方向的AI工程团队,从大… · 2026/11/18 8:30:12

Qwopus-GLM-18B-Merged-GGUF社区应用案例:开发者如何利用这个18B模型创造价值
Qwopus-GLM-18B-Merged-GGUF社区应用案例:开发者如何利用这个18B模型创造价值

Qwopus-GLM-18B-Merged-GGUF社区应用案例:开发者如何利用这个18B模型创造价值 Qwopus-GLM-18B-Merged-GGUF是一个创新的18B参数开源大语言模型,通过融合两个9B模型的优势并经过1000步QLoRA修复微调,在12-16GB GPU上即可高效运行。这个实验性… · 2026/11/18 8:27:42

珠海电工证哪里审好这证值不值得考
珠海电工证哪里审好这证值不值得考

珠海电工证哪里审好这证值不值得考 之前考的证在外省能不能转过来?这几乎是所有想在珠海从事电工工作的人都会问的问题。特别是那些在外省考了低压电工证或高压电工证的人,来到珠海后,面对新的工作环境,最关心的就是证书能不能在当地使用,值不值得考本地… · 2026/11/21 16:28:17

特种工管理实名制上岗必备:别让培训费打水漂
特种工管理实名制上岗必备:别让培训费打水漂

特种工管理实名制上岗必备:别让培训费打水漂 怕考不过白交培训费?特种工管理实名制改革后,上岗必备的证书报考门槛和流程都发生了实质性变化。如果你正准备报考低压电工证、焊工证、高处作业证等特种作业操作证,一定要了解清楚实名制带来的影响,避免因为… · 2026/11/21 16:28:17

洛阳考电工证报名费值不值得考?别交了培训费还考不过
洛阳考电工证报名费值不值得考?别交了培训费还考不过

洛阳考电工证报名费值不值得考?别交了培训费还考不过 怕考不过白交培训费?洛阳考电工证报名费确实不低,但这个证值不值得考,还得看你的目标和规划。现在市面上培训机构五花八门,不少学员交完钱后才发现课程内容和考试难度不匹配,最后连证都拿不到。今天… · 2026/11/21 16:28:17

天津蓟州区建筑电工证官方回应实操考试怎么准备
天津蓟州区建筑电工证官方回应实操考试怎么准备

天津蓟州区建筑电工证官方回应实操考试怎么准备 实操考试心里没底怕挂科?天津蓟州区建筑电工证的实操考试到底考什么?官方回应来了,考前必须知道的细节,帮你少走弯路。 天津蓟州区建筑电工证实操考试内容详解… · 2026/11/21 16:28:17

电工证考题免费在哪考?新手必看的全流程干货
电工证考题免费在哪考?新手必看的全流程干货

电工证考题免费在哪考?新手必看的全流程干货 急需特种作业证才能上岗找工作,但你可能还不知道,电工证考题免费在哪考?其实,很多人都因为不清楚报名流程、考试内容和备考技巧,错失了机会。今天,我就从一个在河南省安全技术防范行业协会工作多年的从业者… · 2026/11/21 16:28:17

顺德报考低压电工证怎么选靠谱渠道?上岗必备证件别被坑
顺德报考低压电工证怎么选靠谱渠道?上岗必备证件别被坑

顺德报考低压电工证怎么选靠谱渠道?上岗必备证件别被坑 不知道去哪报名怕被中介坑?顺德报考低压电工证的朋友们,现在报名渠道五花八门,有些培训机构打着“包过”“快速拿证”的幌子,实际上却坑钱不办事,甚至证件造假。作为已经在电气行业摸爬滚打多年的… · 2026/11/21 16:27:17

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/20 16:18:19

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/20 18:25:07

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/20 17:56:32

电工证征求意见2026河南最新政策怎么应对?学历不高也能考!
电工证征求意见2026河南最新政策怎么应对?学历不高也能考!

电工证征求意见2026河南最新政策怎么应对?学历不高也能考! 你是不是也担心自己学历不高, 怕报不上名 ?尤其是像焦作水利工程这样的从业者,常年在一线作业,但证书却成了晋升、转岗、接项目的关键门槛。 2026河南最新政策… · 2026/11/21 0:00:17

电工证征求意见怎么填?含金量高不高?济源电工朋友看过来
电工证征求意见怎么填?含金量高不高?济源电工朋友看过来

电工证征求意见怎么填?含金量高不高?济源电工朋友看过来 不知道去哪报名怕被中介坑,电工证征求意见填错了不仅白费钱,还可能影响后续考试和工作。最近很多济源的电工朋友都在问: 电工证征求意见怎么填… · 2026/11/21 0:00:17

房建企业特种工考前押题怎么找?别让培训费打了水漂
房建企业特种工考前押题怎么找?别让培训费打了水漂

房建企业特种工考前押题怎么找?别让培训费打了水漂 怕考不过白交培训费?房建企业特种工考试难度高、题型多,很多人报名后才发现没有合适的复习资料,最终考试落榜,白白浪费了时间和金钱。别担心,掌握【考前押题】的技巧,能让你事半功倍,顺利通过考试。… · 2026/11/21 0:00:17

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:37

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:30

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:32

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码