StoryDiffusion：四步在本地跑通角色一致漫画生成

StoryDiffusion四步在本地跑通角色一致漫画生成【免费下载链接】StoryDiffusionAccepted as [NeurIPS 2024] Spotlight Presentation Paper项目地址: https://gitcode.com/GitHub_Trending/st/StoryDiffusionStoryDiffusion 是 NeurIPS 2024 论文的开源实现让现成的 SDXL 模型也能生成多张同一角色保持一致的图片。本文讲清它的适用场景、工作原理与低显存本地部署步骤帮你四步跑通第一套角色一致的漫画。适用场景什么时候需要 StoryDiffusion做漫画或分镜时用普通扩散模型从噪声逐步去噪生成图片的 AI分别生成“同一角色的不同场景”经常出现脸型和发色对不上的情况。StoryDiffusion 的核心能力是角色一致多图生成给几行角色设定提示词再给若干场景提示词它会输出一组人物形象保持相近的图片无需为角色单独训练模型。这个机制是一个热插拔模块兼容所有基于 SD1.5 和 SDXL 的图像模型适合条漫创作、角色多角度定妆图、分镜预演等场景也可以作为图生视频流程的前置阶段。原理速览一致性自注意力如何保持人物不变扩散模型的降噪网络叫 UNet它在每一步都会做“自注意力”计算图像各区域应该参考哪些其他区域的机制来更新画面。StoryDiffusion 的做法是把 UNet 中部分注意力处理器替换为自定义的 SpatialAttnProcessor2_0生成时把角色设定提示词和场景提示词放进同一批次前几行用于定义角色身份id_length默认 4之后每张新场景图都会通过一张专门设计的掩码去参考前面的角色图。这张掩码并不全开而是按两种粒度对应 32×32 与 16×16 的图块以概率随机采样两个采样比例就是 sa32 和 sa64默认都是 0.5。比例越大新图借用的角色信息越多一致性越强但过大画面会显得僵硬雷同。def cal_attn_mask_xl(total_length, id_length, sa32, sa64, height, width, ...)掩码的构建逻辑在 utils/gradio_utils.py 中。上手步骤低显存版演示四步跑通第一步克隆代码git clone https://gitcode.com/GitHub_Trending/st/StoryDiffusion第二步创建环境并安装依赖Python 3.10依赖版本由 requirements.txt 锁定conda create --name storydiffusion python3.10 conda activate storydiffusion pip install -r requirements.txt第三步确认模型配置。config/models.yaml 列了 Juggernaut、RealVision、SDXL、Unstable 四个可选 SDXL 模型低显存版默认用 Unstable首次运行会自动下载权重。第四步启动界面并生成python gradio_app_sdxl_specific_id_low_vram.py浏览器打开终端打印的本地地址输入不少于 3 行角色设定提示词和若干行场景提示词官方建议 5~6 行sa32/sa64 保持默认 0.5点击生成即可。官方 README 注明该版本在 24GB 显存Tesla A10加 30GB 内存的机器上测试通过建议显存不低于 20GB脚本内部通过 VAE 切片和模型 CPU 卸载enable_model_cpu_offload来省显存。参数速查id_length 与 sa32/sa64 调节指南id_length默认 4作为角色身份定义的行数这部分不能加 [NC] 标记sa32 / sa64默认 0.5两种粒度的采样比例调大一致性更强[NC] 标记写在场景行开头表示这一帧不出现角色参考图模式上传人脸照片后提示词中角色名词后必须加 “img” 触发词常见问题与排错三个典型报错提示 “Support for more than three characters is temporarily unavailable” 现象点生成后弹出超过三个角色的报错。原因低显存版把角色设定限制在 3 行以内。解决把角色提示词压到 3 行或换更大显存的机器。提示 ‘Please add the trigger word img ’ 现象参考图模式下无法生成。原因提示词里角色词后没有写 “img” 触发词。解决在角色名词后加上例如 “man img”。提示 “The first 4 row is id prompts, cannot use [NC]!” 现象在角色设定行加 [NC] 直接报错。原因前 id_length 行用于定义身份必须包含角色。解决只在设定行之后的场景行使用 [NC]。StoryDiffusion 用一张注意力掩码让 SDXL 模型做到多页人物一致。想改用 notebook 方式可看 Comic_Generation.ipynb。【免费下载链接】StoryDiffusionAccepted as [NeurIPS 2024] Spotlight Presentation Paper项目地址: https://gitcode.com/GitHub_Trending/st/StoryDiffusion创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考