首页/新闻资讯/正文详情

StoryDiffusion 快速上手:角色前后一致的多格漫画生成

发布时间:2026/9/24 14:41:49 来源:云帆数科 栏目:资讯中心
StoryDiffusion 快速上手:角色前后一致的多格漫画生成
StoryDiffusion 快速上手角色前后一致的多格漫画生成【免费下载链接】StoryDiffusionAccepted as [NeurIPS 2024] Spotlight Presentation Paper项目地址: https://gitcode.com/GitHub_Trending/st/StoryDiffusionStoryDiffusion 是一个基于 Consistent Self-Attention一致性自注意力的长序列图像生成开源项目论文被 NeurIPS 2024 收录为 Spotlight 展示论文。它解决的是 AI 图像生成里一个常见痛点逐张生成的图像之间角色长相、服装经常对不上。用它输入几行场景描述就能得到一整套人物形象保持一致的多格图像并自动拼成带配文的漫画版式。项目基于 SD1.5 / SDXL 扩散模型实现可以完全在本地运行。上图是项目自带的一个生成示例同一角色在多个场景中出现最终被排成漫画版式每格下方带有说明文字。如何在本地跑起 StoryDiffusion安装流程很短官方文档见 README.md主要三步克隆仓库并安装依赖git clone https://gitcode.com/GitHub_Trending/st/StoryDiffusion pip install -r requirements.txt环境要求 Python 3.8 以上、PyTorch 2.0 以上建议用 conda 单独建一个环境启动官方推荐的低显存版 Gradio 界面python gradio_app_sdxl_specific_id_low_vram.py浏览器打开本地地址即可使用。如果习惯 Notebook 形式也可以直接运行 Comic_Generation.ipynb。提示词怎么写一行对应一帧界面里主要填三类内容角色描述外观和服装例如 a man, wearing black jacket场景描述每一行就是一帧画面例如 wake up in the bed、have breakfast、is on the road, go to company风格模板内置多种风格默认 Japanese Anime完整列表在 utils/style_template.py。一致性自注意力模块至少需要 3 行提示词才能生效官方建议写5-6 行这样排版和叙事节奏更好。开头的几行用于定住角色形象后面的帧会继承这套形象。如果某一帧不想要人物出现比如纯环境特写在该行开头加[NC]即可。用参考图锁定角色除了纯文字界面还提供 Using Ref Images 模式上传一到两张角色参考照片由 PhotoMaker 模块按参考图生成一致角色。这个模式有一个容易漏掉的细节角色描述里要在类别词后面加触发词img比如写成man img、woman img、girl img缺了它界面会直接报错。仓库附带了几组示例人物图片可以照抄着试examples/taylor/、examples/Robert/、examples/twoperson/双人示例、examples/lecun/。界面内还内置了几个可点击的完整示例适合第一次运行。版式、配文与细节选项Typesetting Style 提供三种排版默认不排版、四格、经典漫画风格。选择排版样式后可以在某行提示词末尾加##之后的内容会单独作为该格配文之前的部分仍用作生图提示词。生成结果会自动保存到 results 目录。需要精细调节时超参数面板暴露了两级自注意力强度sa32、sa64、采样步数、分辨率256-1024和引导系数等选项。先用默认值跑通再按效果微调即可。硬件要求与需要注意的地方显存低显存版本在 24GB 显存Tesla A10 30GB 内存的机器上测试通过官方预期 20GB 以上显存可正常工作视频生成暂未放出项目包含面向图生视频的运动预测模块但视频模型源码与权重仍在 TODO 列表中当前版本只做图像生成许可证代码采用 Attribution-NonCommercial 4.0 International生成内容采用 Apache-2.0商用场景请留意。下一步如果你的机器显存达标直接克隆后启动低显存版本先点一个内置示例跑通再换成自己的提示词。想深入了解一致性注意力的实现可以看 utils/ 目录最新变动记录见 update.md。【免费下载链接】StoryDiffusionAccepted as [NeurIPS 2024] Spotlight Presentation Paper项目地址: https://gitcode.com/GitHub_Trending/st/StoryDiffusion创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关推荐

408真题考频数据复盘:132个考点的高频清单
408真题考频数据复盘:132个考点的高频清单

408真题考频数据复盘:132个考点的高频清单 【免费下载链接】cs-408 计算机考研专业课程408相关的复习经验,资源和OneNote笔记 项目地址: https://gitcode.com/GitHub_Trending/cs/cs-408 2009到2022年,14套408统考真题,四门… · 2026/9/24 14:41:49

Go CDK secrets 包实战指南:用统一 API 在云端安全地加密与解密数据
Go CDK secrets 包实战指南:用统一 API 在云端安全地加密与解密数据

Go CDK secrets 包实战指南:用统一 API 在云端安全地加密与解密数据 【免费下载链接】go-cloud The Go Cloud Development Kit (Go CDK): A library and tools for open cloud development in Go. 项目地址: https://gitcode.com/gh_mirrors/go/go-cloud 云应… · 2026/9/24 14:41:49

从撰写到投递,免费开源简历生成器 Reactive Resume 完整指南
从撰写到投递,免费开源简历生成器 Reactive Resume 完整指南

从撰写到投递,免费开源简历生成器 Reactive Resume 完整指南 【免费下载链接】reactive-resume A one-of-a-kind resume builder that keeps your privacy in mind. Completely secure, customizable, portable, open-source and free forever. Try it out today! … · 2026/9/24 14:41:42

Skia 用户技巧与 FAQ 全解:SKP/MSKP 抓取、硬件加速、字体 Hinting 与文本整形
Skia 用户技巧与 FAQ 全解:SKP/MSKP 抓取、硬件加速、字体 Hinting 与文本整形

图形学 【免费下载链接】skia Skia is a complete 2D graphic library for drawing Text, Geometries, and Images. See documentation for contribution instructions. 项目地址: https://gitcode.com/gh_mirrors/ski/skia 点击查看 免费下载 本指南以 Skia 官方用… · 2026/9/24 15:11:23

RenderDoc Python 模块 API 参考全览:renderdoc 模块结构与十二大接口板块导航
RenderDoc Python 模块 API 参考全览:renderdoc 模块结构与十二大接口板块导航

开发工具调试器图形学GPU 【免费下载链接】renderdoc RenderDoc is a stand-alone graphics debugging tool. 项目地址: https://gitcode.com/gh_mirrors/re/renderdoc 点击查看 免费下载 RenderDoc 在图形调试工具之外,还向 Python 暴露了完整的内部接… · 2026/9/24 15:11:23

使用 Instant 与 SvelteKit / Svelte 5 构建实时应用:从零搭建、响应式查询到多人协作
使用 Instant 与 SvelteKit / Svelte 5 构建实时应用:从零搭建、响应式查询到多人协作

后端数据库 【免费下载链接】instant Instant is the best backend for AI-coded apps. You get auth, permissions, storage, presence, and streams — everything you need to ship apps your users will love. 项目地址: https://gitcode.com/gh_mirrors/inst/i… · 2026/9/24 15:11:23

Phoenix 前端 Relay 数据获取实践:Store 缓存保留、查询引用所有权与 node 单实体查询
Phoenix 前端 Relay 数据获取实践:Store 缓存保留、查询引用所有权与 node 单实体查询

可观测性AI 评测LLMOpsAI 应用人工智能 【免费下载链接】phoenix AI Observability & Evaluation 项目地址: https://gitcode.com/gh_mirrors/phoenix13/phoenix 点击查看 免费下载 导读 Phoenix(AI Observability & Evaluation 平台&#xff… · 2026/9/24 15:11:23

FDA注册为什么要用 ASTM D4169?医疗器械包装验证标准一次讲清
FDA注册为什么要用 ASTM D4169?医疗器械包装验证标准一次讲清

医疗器械要顺利通过 FDA 注册,包装验证是不可绕过的一环。在众多标准中,ASTM D4169 是 FDA 认可度最高、也最常被审核员点名的运输包装性能测试标准。很多企业第一次接触它时一头雾水,其实它并不复杂,关键是理解它的核心逻辑。一、… · 2026/9/24 15:11:17

EDR告警降噪实战:从日均万条到50条以内的运营指南
EDR告警降噪实战:从日均万条到50条以内的运营指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/24 15:11:17

基于YOLOv8的渔船作业监控系统:从环境搭建到边缘部署全流程
基于YOLOv8的渔船作业监控系统:从环境搭建到边缘部署全流程

简介:这是一套面向计算机、人工智能、自动化等专业学生与教师的毕业设计级项目资源,围绕YOLOv8实现渔船作业监控系统,可用于毕设、课程设计、大作业或项目立项演示。压缩包共97个文件,约24.21MB,以70个Python源码文件为… · 2026/9/24 0:00:13

1D-CNN时间序列建模实战:从Conv1d原理到工业落地
1D-CNN时间序列建模实战:从Conv1d原理到工业落地

简介:面向时间序列数据建模的一维卷积神经网络完整实现,适合深度学习入门者及需要快速验证时序模型的研究者,能够从音频、文本、传感器或股价等序列中挖掘局部特征与时间依赖。压缩包体积很小,只有3KB,内含3个Python脚… · 2026/9/24 0:00:26

柔软的L:汉语语流中被忽视的舌肌张力控制
柔软的L:汉语语流中被忽视的舌肌张力控制

1. 这个“L”不是字母表里的L,而是舌尖上的L最近在几个方言群和语音教学社群里,反复看到有人发一句:“也说字母L:柔软的长舌”。初看以为是英语发音课笔记,点开才发现全是方言爱好者、播音系学生、语言康复师甚至戏曲演… · 2026/9/24 0:00:44

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码