首页/新闻资讯/正文详情

Qwen-Image-2.1 纹理修复 VAE 是什么?一文看懂 Texture-Fix-VAE 的两大核心能力

发布时间:2026/11/4 2:22:07 来源:云帆数科 栏目:资讯中心
Qwen-Image-2.1 纹理修复 VAE 是什么?一文看懂 Texture-Fix-VAE 的两大核心能力
Qwen-Image-2.1 纹理修复 VAE 是什么一文看懂 Texture-Fix-VAE 的两大核心能力【免费下载链接】texture-fix-vae-for-qwen-image-2.1项目地址: https://ai.gitcode.com/hf_mirrors/madebyollin/texture-fix-vae-for-qwen-image-2.1Texture-Fix-VAE-for-Qwen-Image-2.1是一款面向 Qwen-Image-2.1 的纹理修复 VAE 模型基于官方 Qwen-Image-2.1 VAE 微调而来。它只改了解码器decoder部分专门修复两个让生图用户头疼的老问题解码后的棋盘格伪影checkerboard artifacts和fp16 半精度下输出 NaN 的问题同时还能兼容--fp16-vae运行。对新手来说它最大的价值就是不用改模型、不用换工作流替换一个 VAE 文件即可显著提升画面质感。一、什么是 VAE为什么生图会出棋盘格在扩散模型Diffusion Model生成图像的流程中VAE变分自编码器扮演翻译官的角色扩散模型在低分辨率的潜空间latent里画草稿最后由 VAE 解码器把潜变量还原成你看到的像素图。也就是说画面最终呈现的纹理细节、锐利程度很大程度上取决于 VAE 解码器的质量。而 Qwen-Image-2.1 原版 VAE 解码器有一个常见瑕疵在照片风格的复杂画面花卉、毛发、岩石纹理等上放大后能看到一层不规则的棋盘格状色块。作者在 README.md 中推测原因很可能是原版 VAE 训练时没有启用有效的对抗损失adversarial/GAN loss——MSE/MAE 损失会把细节抹糊LPIPS 损失则容易诱发棋盘格只有 GAN 损失能逼出看起来锐利又合理的细节。Texture-Fix-VAE 的解法借用 TAESD 的对抗式训练配方只对解码器中分辨率最高的两个阶段 输出头约 7.5M 可训练参数做约 5000 步的短时微调即可消除棋盘格伪影。下面是同一张 latent 分别用两个 VAE 解码后的放大对比左侧为原版右侧为纹理修复版。左图中紫色羽扇豆花簇区域可见明显的棋盘格杂色右图则干净得多。原版 Qwen-Image-2.1-VAETexture-Fix VAE 对比图使用的 latent 由 Qwen-Image-2.1 根据一张太平洋西北高山草甸溪流的照片风格提示词生成文件见 images/pnw_meadow_stream_2048.latent.pt。二、能力一消除棋盘格伪影照片级细节更干净核心能力一就是纹理修复在照片风格、细节密集的画面野花、岩石、植被等上解码结果不再有棋盘格杂色细节更自然。值得一提的是修复纹理的代价很小。根据 README.md 中的指标COCO val20175000 张 256² 图指标原版 VAE (bf16)纹理修复 VAE (bf16)纹理修复 VAE (fp16)rFID ↓感知质量越低越好3.382.072.06PSNR ↑重建精度33.2932.7332.79LPIPS ↓0.03570.03840.0380可以总结为感知质量指标 rFID 大幅变好3.38 → 2.06重建精度指标LPIPS/PSNR只有轻微损失——对绝大多数用户来说看起来更好比逐像素更准更有价值。三、能力二修复 fp16 下的 NaN低精度也能稳跑核心能力二是fp16 稳定性修复。很多用户在消费级显卡上会开启 fp16 半精度以省显存、提速但原版 Qwen-Image-2.1 VAE 的解码器在 fp16 下经常出现NaN无效像素最容易在全透明区域如带透明通道的贴纸、贴图类 RGBA 图产生并且会渗到周围正常内容里原版 VAE 解码器内部最大激活值可达约350 万而 fp16 的上限只有 65504必然溢出。Texture-Fix VAE 用了两步治本手段详见 NOTICE 与 README.md 的 Mechanism 章节微调解码器权重约 61k 个参数卷积的 scale/bias 与 RMSNorm gain在保持输出基本不变的前提下压小激活幅值——思路和 SDXL-VAE-FP16-Fix 类似手动缩小部分权重解码器 /512、编码器 /8均为 2 的整数次幂进一步压低残差流的数值规模输出完全不变。修复效果解码器最大激活值从 ~3.5M 降到~1.3k185 项压力测试透明/不透明/合成图/随机 latent256²~2048²中输出 NaN 的输入从75 个降到 0 个。你可以通过仓库自带的 fp16_demo.py 脚本完整复现 README 中的 fp16 对比效果运行python fp16_demo.pyNaN/inf 像素会被染成紫红色高亮测试数据就是仓库里的 images/rgba_dragon_sticker_1024.latent.pt一张 1024×1024 RGBA 透明贴纸的 latent。四、如何上手使用两步替换即可方式 1ComfyUI最简单下载权重文件 texture_fix_vae_for_qwen_image_2.1_bf16.safetensors放入ComfyUI/models/vae/目录在Load VAE节点中选中它替代原来的qwen_image_2.1_vae_bf16.safetensors完成 ✅支持--fp16-vae参数运行。方式 2Diffusers代码用户只需在加载流水线时把 VAE 换成微调版即可编码器逻辑不变权重仅做了 2 的幂次缩放import torch from diffusers import QwenImage21Pipeline, AutoencoderKLQwenImage21 vae AutoencoderKLQwenImage21.from_pretrained( madebyollin/texture-fix-vae-for-qwen-image-2.1, torch_dtypetorch.bfloat16 ) pipe QwenImage21Pipeline.from_pretrained( Qwen/Qwen-Image-2.1, vaevae, torch_dtypetorch.bfloat16 ).to(cuda)模型结构配置64 通道 latent、16 倍空间下采样等见 config.json。五、版本历史与注意事项2026-10-05更新版本新增修复 fp16 NaN微调解码器 透明训练数据 ~60k 步再重跑 8000 步恢复纹理细节权重按 2 的幂次缩放2026-09-24初始版本仅微调解码器修复棋盘格~5000 步学习率 3e-57.5M 可训练参数。⚠️许可提醒本模型基于 Qwen/Qwen-Image-2.1遵循 Qwen 研究许可协议见 LICENSE 与 NOTICE仅限非商业/研究用途商用前请自行确认版权要求。总结一张表看懂 Texture-Fix-VAE维度说明它是什么Qwen-Image-2.1 VAE 的非官方微调版仅改解码器权重 权重缩放能力一消除照片风格画面的棋盘格伪影rFID 从 3.38 降到 2.06能力二修复 fp16 下 NaN 溢出压力测试 NaN 输出 75 → 0上手成本ComfyUI 替换一个 VAE 文件Diffusers 改一行参数适用人群使用 Qwen-Image-2.1 生图、嫌细节发糊或有透明图 NaN 的用户如果你正在用 Qwen-Image-2.1 做照片风格创作或带透明通道的素材替换这个 VAE 是投入产出比极高的一步小改动。【免费下载链接】texture-fix-vae-for-qwen-image-2.1项目地址: https://ai.gitcode.com/hf_mirrors/madebyollin/texture-fix-vae-for-qwen-image-2.1创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关推荐

启元 Q1 机器人为什么不会摔倒?平衡背后的科学,与一次 150 万次的训练实验
启元 Q1 机器人为什么不会摔倒?平衡背后的科学,与一次 150 万次的训练实验

你保持现在的坐姿或站姿时,身体正在以每秒上百次的频率做着一件事:防止自己摔倒。人类做这件事毫不费力,机器人却要为此建立整套理论——从支撑多边形、零力矩点(ZMP)到捕获点,人形机器人平衡的科学已经发展… · 2026/11/4 2:22:07

榜单只排38名,港媒却吹它“全球第4“:这个AI音乐模型,藏着一场“懂行人的狂欢“
榜单只排38名,港媒却吹它“全球第4“:这个AI音乐模型,藏着一场“懂行人的狂欢“

榜单只排38名,港媒却吹它"全球第4":这个AI音乐模型,藏着一场"懂行人的狂欢" 【免费下载链接】Yue2 项目地址: https://ai.gitcode.com/hf_mirrors/Comfy-Org/Yue2 最近科技圈有件挺有意思的事,差点被… · 2026/11/4 2:22:07

问答机器人上线一周,token账单吓我一跳:30行缓存省掉94.5%调用,Python实战第8期
问答机器人上线一周,token账单吓我一跳:30行缓存省掉94.5%调用,Python实战第8期

前七期下来,问答机器人已经是个完整产品了:50行检索引擎,第2期接大模型做问答,第3期健康监控,第4期重试降级熔断,第5期SSE流式输出,第6期多轮记忆,第7期令牌桶限流。上周我把它推上线… · 2026/11/4 2:22:07

阅读APP书源完整配置指南:22个书源快速导入与常见问题排查
阅读APP书源完整配置指南:22个书源快速导入与常见问题排查

阅读APP书源完整配置指南:22个书源快速导入与常见问题排查 【免费下载链接】Yuedu 📚「阅读」自用书源分享 项目地址: https://gitcode.com/gh_mirrors/yu/Yuedu 刚把「阅读」APP 装进手机,打开搜索页却发现什么都搜不到、书架空空如也… · 2026/11/4 11:52:38

让AI Agent自愈:axuse的6种类型化错误如何把失败从报错字符串变成可执行事实
让AI Agent自愈:axuse的6种类型化错误如何把失败从报错字符串变成可执行事实

【免费下载链接】axuse Accessibility-first browser & computer use for AI agents — one MCP server for every harness (Codex, Claude Code, OpenCode, Antigravity). Instruments the DOM/accessibility tree via CDP instead of screenshot loops: diffed snapshots… · 2026/11/4 11:52:38

WeChatMsg:免费把微信聊天记录导出成 3 种格式,一次搞定年度聊天报告
WeChatMsg:免费把微信聊天记录导出成 3 种格式,一次搞定年度聊天报告

WeChatMsg:免费把微信聊天记录导出成 3 种格式,一次搞定年度聊天报告 【免费下载链接】WeChatMsg 提取微信聊天记录,将其导出成HTML、Word、CSV文档永久保存,对聊天记录进行分析生成年度聊天报告 项目地址: https://gitcode.com… · 2026/11/4 11:52:38

OpenClaw 轻量化整合包部署,本地智能工具搭建
OpenClaw 轻量化整合包部署,本地智能工具搭建

📖 前言 本文面向 Windows 系统用户,系统梳理 OpenClaw 的标准化部署流程。全程无需输入任何命令行,所有操作均依托可视化向导完成,即便是零基础用户也能独立走完整套部署流程。文中同时汇总了高频报错的对应解决方案&#xff0c… · 2026/11/4 11:52:38

关于 Redis 锁与 MySQL 锁的苏格拉底式对话
关于 Redis 锁与 MySQL 锁的苏格拉底式对话

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 11:52:38

AutoHotkey 输入法切换实战:5 个热键参数,中英文切换一次配好
AutoHotkey 输入法切换实战:5 个热键参数,中英文切换一次配好

AutoHotkey 输入法切换实战:5 个热键参数,中英文切换一次配好 【免费下载链接】AutoHotkey AutoHotkey - macro-creation and automation-oriented scripting utility for Windows. 项目地址: https://gitcode.com/gh_mirrors/au/AutoHotkey 写技… · 2026/11/4 11:51:37

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 6:59:29

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 7:02:38

AI辅助技术栈评估:提升研发决策效率60%
AI辅助技术栈评估:提升研发决策效率60%

1. 项目背景与核心价值技术决策一直是研发团队面临的重大挑战。随着技术生态的快速演进,技术栈的选择、维护和迭代变得愈发复杂。我们团队在过去两年里,先后经历了三次重大技术栈迁移,每次都需要投入大量人力进行技术评估和风险分析。直到去年… · 2026/11/4 0:00:17

从生成Token到直接决策:Jev如何重塑AI Agent工程实践
从生成Token到直接决策:Jev如何重塑AI Agent工程实践

1. 从"生成文字"到"拍板决策":Jev 到底在解决什么问题大多数人第一次接触大模型,脑子里建立的模型是"输入问题、输出文字"。你问它今天天气怎么样,它给你一段描述;你让它写个周报,它给你… · 2026/11/4 0:00:17

32G统一内存跑大模型:内存账、TPS实测与端云分流
32G统一内存跑大模型:内存账、TPS实测与端云分流

想在一台 32G 统一内存的小主机上把大模型跑成"日常可用",这件事我前后折腾了小半年。标题里说的这台 Mac mini M6,是我们这次讨论的目标平台,具体到手规格以实物为准;但下面这套推算方法和实测思路,对任何统… · 2026/11/4 0:00:17

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 6:59:29

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 7:02:38

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码