给 LTX-2.5 喂 LoRA：从 IC-LoRA 到自定义风格，本地微调的第一课

给 LTX-2.5 喂 LoRA从 IC-LoRA 到自定义风格本地微调的第一课LTX-2.5 发布以来6.8 秒生成 10 秒视频的推理速度、16GB 显存可跑的本地部署门槛让它成为开源视频生成里最像玩具也能玩的模型之一。但热度之外有一个更值得关注的事实官方把完整可训练的 dev transformer、文本编码器、双 VAE、时长预测头全部拆成单文件发布并随包附赠一个蒸馏 LoRA而 README 里只有一句话点明了方向——The dev transformer is fully trainable。换句话说推理只是入口微调才是这个仓库真正想让你做的事。这篇文章以本地仓库README.md与 LTX-2 仓库中 ltx-trainer 包的官方文档为源码级依据回答四个问题LoRA 究竟挂在 22B 扩散 Transformer 的哪些关节上IC-LoRA 和普通 LoRA 有什么区别、能力边界在哪一份能跑通的最小数据集和训练参数长什么样以及微调翻车之后怎么回退。LoRA 挂在哪22B DiT 的注意力与跨模态关节LTX-2.5 以 split pack 形式发布每个组件一个.safetensors文件transformerDiT、文本编码器、视频 VAE、音频 VAE、时长预测头、两级 latent 上采样器。其中 diffusion_models/ltx-2.5-22b-dev-transformer-bf16.safetensors 是完全可训练的完整 DiT这正是 LoRA 微调的目标权重而 diffusion_models/ltx-2.5-22b-distilled-transformer-bf16.safetensors 是固定 8 步采样、CFG1 的蒸馏版推理快但权重设计上更接近产出即用。LoRA 的作用位点由 ltx-trainer 的target_modules配置决定它直接暴露了 LTX-2 系列 Transformer 的模块结构视频分支attn1.*视频自注意力、attn2.*视频对文本的交叉注意力、ff.net.*视频前馈网络音频分支audio_attn1.*、audio_attn2.*、audio_ff.*跨模态关节audio_to_video_attn.*视频侧 Q 去 attend 音频 K/V与video_to_audio_attn.*音频 attend 视频这两组模块承载音画双向信息流是 LTX 系列音视频同步生成的架构根基。这里有一个直接影响训练质量的细节如果训练任务同时涉及音视频T2V、I2V、A2V、V2A官方建议使用to_k/to_q/to_v/to_out.0这样的短模式它会被展开匹配到视频、音频和跨模态全部注意力分支如果只做纯视频 IC-LoRA则应显式写attn1.*、attn2.*并补上ff.net.0.proj、ff.net.2两个 FFN 层——官方在 v2v_ic_lora.yaml 中注明包含 FFN 层通常能明显提升变换质量。rank 与 alpha 的语义与图像 LoRA 一致alpha/rank是有效缩放系数默认取 rankalpha 即缩放 1.0典型 rank 区间 8–128标准 T2V 配置用 32低显存配置降到 16。值得一提的官方示例是仓库里的 loras/ltx-2.5-22b-distilled-lora-450-bf16.safetensorsREADME 标注它是 Distilled LoRA (dev-transformer workflows)——官方用一张 LoRA 把完整 dev transformer 在推理时拉近到蒸馏模型的行为这本身就是LoRA 是一种可插拔行为补丁最直观的官方演示。另外 README 还给出一个对生态非常友好的兼容性结论基于官方测试绝大多数在 LTX-2.3 上训练的 LoRA 与 IC-LoRA 可以在 LTX-2.5 上不改动直接运行只有少量例外生产使用前必须逐个验证。IC-LoRA在上下文里学一种变换而不是学一种风格普通 LoRA 学的是从提示词到内容的映射——你喂一批某风格的短片模型把风格编码进低秩权重推理时靠提示词召回。IC-LoRAIn-Context LoRA则完全不同它学的是从参考视频到目标视频的变换。训练时参考视频的 latent 会被拼接在目标序列前面这些 reference token 参与双向自注意力但不加噪、不参与 loss 计算相当于给模型一块照着做的上下文黑板。ltx-trainer 用flexible策略统一表达所有训练模式每个模态video/audio独立配置is_generated为 true 表示该模态是被去噪生成的目标进 loss为 false 表示冻结成干净条件sigma0纯作跨模态引导。IC-LoRA 的配置骨架如下training_strategy: name: flexible video: is_generated: true latents_dir: latents conditions: - type: reference latents_dir: reference_latents probability: 1.0 - type: first_frame # 可选20% 概率混合首帧条件 probability: 0.2由此可以划出 IC-LoRA 的能力边界它天然适配成对视频驱动的变换类任务——深度图/边缘图转视频、姿态控制、风格迁移、去模糊、上色以及音频侧的 A2A音色迁移、声音特效变换和联合的 AV2AV音画同步风格迁移。它不擅长的是无中生有的新概念生成——那依然是 T2V LoRA 的主场。两者可以按需组合T2V LoRA 负责学什么内容IC-LoRA 负责怎么变换。提示词的配合方式也与图像生态不同。LTX 系列偏好长而具体、同时描述视觉与听觉的 caption——不仅写画面内容还要写环境音、脚步声、鸟鸣这类声音信息因为训练时音频分支同样被去噪生成。训练时可以用--lora-trigger指定一个触发词预处理脚本会自动把它前置到每条 caption 上推理时在提示词里带上同样的词即可激活 LoRA。IC-LoRA 验证时还需要让 reference 条件与训练预处理的缩放参数对齐预处理用--reference-downscale-factor做了空间/时间下采样验证样本里的downscale_factor、temporal_scale_factor必须设成相同值否则验证结果与训练条件不一致看起来就会失灵。最小可用的训练数据与参数ltx-trainer 把训练流程拆成三步准备数据集 → 预处理缓存 latent 与文本嵌入→ 启动训练。对一个 LoRA 新手最小闭环是这样的。第一步数据集。元数据用 JSON/JSONL/CSV 都行列名按约定自动识别video目标视频、caption文本、reference_videoIC-LoRA 参考视频可选。一份 IC-LoRA 的最小数据集[ { caption: A cat playing with a ball of yarn, video: videos/cat_playing.mp4, reference_video: references/cat_playing_canny.mp4 } ]第二步预处理。长视频先切场景然后生成 caption最后编码 latent 与文本嵌入uv run python scripts/split_scenes.py input.mp4 scenes_output_dir/ --filter-shorter-than 5s uv run python scripts/caption_videos.py scenes_output_dir/ --output dataset.json uv run python scripts/process_dataset.py dataset.json \ --resolution-buckets 960x544x49 \ --model-path /path/to/diffusion_models/ltx-2.5-22b-dev-transformer-bf16.safetensors \ --text-encoder-path /path/to/text_encoders/gemma4-12b-with-proj-ltx-2.5-bf16.safetensors \ --video-vae-path /path/to/vae/ltx-2.5-video-vae-bf16.safetensors \ --audio-vae-path /path/to/vae/ltx-2.5-audio-vae-bf16.safetensors分辨率桶960x544x49不是随便写的宽高必须被 VAE 空间压缩因子 32 整除帧数必须满足frames % 8 1即 1、9、17、25…49…121。一个 768×448×89 的样本经 VAES32T8后序列长度为(768/32)×(448/32)×((89-1)/81)4032——这是估算显存的关键公式。LTX-2.5 的 split pack 必须在预处理与训练两处都显式指定--video-vae-path和--audio-vae-path因为 transformer 文件里不含任何 VAE 权重。第三步训练配置与启动。直接以官方t2v_lora.yaml为起点完整 YAML 在 ltx-trainer 包的configs/下只改路径和少量参数model: model_path: /path/to/diffusion_models/ltx-2.5-22b-dev-transformer-bf16.safetensors text_encoder_path: /path/to/text_encoders/gemma4-12b-with-proj-ltx-2.5-bf16.safetensors video_vae_path: /path/to/vae/ltx-2.5-video-vae-bf16.safetensors audio_vae_path: /path/to/vae/ltx-2.5-audio-vae-bf16.safetensors training_mode: lora lora: rank: 32 alpha: 32 target_modules: [to_k, to_q, to_v, to_out.0] optimization: learning_rate: 1e-4 steps: 2000 batch_size: 1 enable_gradient_checkpointing: true acceleration: mixed_precision_mode: bf16 data: preprocessed_data_root: /path/to/preprocessed/datauv run python scripts/train.py configs/t2v_lora.yaml官方给出的最小可用语义很清楚先跑几百步、小数据集验证链路通不通再谈规模。IC-LoRA 的默认档是 rank 32、learning_rate 2e-4、steps 3000、probability: 1.0。显存方面标准配置建议 80GB 级 GPU32GB如 RTX 5090则用官方 low-VRAM 变体组合了四板斧8-bit AdamW 优化器优化器状态省约 75%、INT8 模型量化模型省约 50%、rank 降到 16、梯度检查点全开文本编码器还可加载为 8-bit注意 8-bit 化过程中全精度权重会在主机内存里过一遍LTX-2.5 大约要占用 26GB RAM。训练产物是checkpoints/lora_weights_step_00000.safetensors这类独立于基座权重的适配器文件——这个独立属性正是后面回退方案的基础。微调后常见翻车点与回退方案结合官方 troubleshooting 文档把踩坑点按出现概率排个序其一文本编码器不匹配。LTX-2.5 必须使用 LTX 专用微调过的 Gemma 4text_encoders/gemma4-12b-with-proj-ltx-2.5-bf16.safetensors不能用谷歌原版 Gemma 4更不能混用 LTX-2.3 的 Gemma 3 目录。报错会直接提示版本不匹配因为 checkpoint 元数据里带gemma_source_checkpoint字段做校验。另一个连带坑从 LTX-2.3 切到 LTX-2.5 后旧预计算的 caption 特征conditions/下的.pt文件不能复用——那是 Gemma 3 的嵌入与 Gemma 4 不通用。必须重新预处理或加--overwrite否则训练在数据加载阶段就会出问题。其二split pack 路径缺失。报错信息会直接点明is the transformer of a split checkpoint pack and carries no video VAE。解决办法就是补上video_vae_path/audio_vae_path。注意纯视频任务不碰音频分支可以不配音频 VAE训练器按需加载。其三帧数约束。frames % 8 1是硬约束24、32、48、64、100 这类帧数全部非法报错形如 frames must satisfy (frames - 1) % T 0。改分辨率桶而不是硬扛。其四验证输出质量差。这是最常见的看起来训练失败的假翻车。先核对验证配方是否与 checkpoint 匹配蒸馏版 checkpoint 的验证应当用 8 步、CFG1.0、STG0.0PT/SFT 版才有自己的单阶段采样配方。之后依次排查验证用首帧条件I2V比纯 T2V 更稳定inference_steps提到 30检查 caption 是否足够长且包含声音描述确认target_modules与训练目标匹配音视频任务误用attn1.to_k这种视频专属模式会漏掉跨模态分支必要时 rank 升到 64–128、steps 提到 3000。回退方案则建立在三个事实上LoRA 权重独立成文件不加载就是原模型checkpoint 按步数存盘interval: 250、keep_last_n可调过拟合时直接回滚到早期步数的lora_weights_step_XXXXX.safetensors训练状态可用save_training_state控制LoRA 场景存 minimal仅 schedulerRNG即可恢复。因此稳妥的微调流程是每次只调一个变量、每 250 步存一个点、用小步数 checkpoint 快速验证效果再决定是否加训。推理端通过 ltx-pipelines 的loras参数挂载适配器权重强度可调随时可以卸下恢复基座行为——这也是把微调当成给模型喂辅食而非重写模型来对待的核心原因。从随包发布的蒸馏 LoRA到完整可训练的 dev transformer再到 IC-LoRA 的 reference 条件框架LTX-2.5 的本地微调链路已经是一条官方铺好的路数据是 CSV 里多一列reference_video的事模型是 YAML 里几行target_modules的事回退是删掉一个.safetensors的事。剩下的问题只有一个——你的第一份训练数据打算从哪段视频开始切。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考