LIT：学习交互与导演——协同进化视频导演智能体-云帆数科

LIT：学习交互与导演——协同进化视频导演智能体会议：ICLR 2027arXiv编号：arXiv:2610.41865v1 [cs.AI]摘要视频导演智能体负责编排多阶段制作流程，实现用户的创意构想。现有自进化相关研究大多聚焦剧本规划，却忽略用户交互能力与视频导演能力之间的相互强化效应：更充分的交互可以厘清用户意图，反哺工作流迭代优化；而更可靠的视频制作执行，又会让人机协作重心从排错调试转向创意决策。本文提出LIT（Learning to Interact and DirecT）自提升视频创作框架，系统由导演智能体、仿真用户、元工程师三部分组成。仿真用户向导演智能体下发创意任务，暴露导演在交互、制作流程上存在的缺陷；元工程师基于任务轨迹，同时修订导演的交互策略与视频制作策略。基础版本虽然可以修复已经暴露的问题，但元工程师依赖被动故障归因，难以适配更多样的用户交互模式与制作技术。为此本文为LIT引入协同进化范式：元工程师主动学习外部知识，提升问题发现与解决方案生成能力。元工程师、仿真用户、导演智能体三者共同形成进化闭环，协同提升视频导演能力与用户交互能力。在测试集与分布外OOD测试集上，相比初始基线流水线，LIT的视频制作指标提升19.1%，交互指标提升32.0%。受控消融实验证实制作能力与交互能力存在互相增益关系，协同进化机制进一步鼓励导演技能与交互模式的探索。开展用户研究，51.7%的受试者分组评估中更偏好LIT的意图满足效果，优于ViMax、VideoWeaver基线。关键词视频生成智能体；视频导演智能体；人机交互；协同进化；多智能体；创意内容生成；自进化智能体目录引言相关工作LIT方法框架](#3‑lit方法框架)3.1 导演‑用户交互数据集3.2 仿真环境下导演‑用户交互流程3.3 元工程师驱动协同进化闭环实验设置实验结果与消融分析讨论与局限性结论附录简要说明1 引言AI视频导演智能体降低影视叙事创作门槛，把用户的创意构想转化为剧本编写、镜头设计、视频生成、剪辑等一系列协同决策。现有自进化研究聚焦视频制作本身，从执行反馈中提炼可复用技能、工作流配置与生成策略，利用过往视频项目经验改进后续规划生成。但用户才是定义视频创作成功与否的主体。用户初始请求往往无法覆盖全部创作细节，视频导演必须通过交互完成：厘清创意优先级、识别可以交由系统自主决策的部分、在草稿产出之后协商修订方案。用户引导式创作依靠对话反馈辅助制作，但大多只是将交互作为制作的输入条件，交互策略本身很少作为和制作流程并行进化的对象。交互时机不当会导致已经完成的镜头素材需要大规模返工；制作流程不可靠，会让用户耗费大量精力排查故障，而非专注创意决策。本文核心洞察：交互能力与视频制作能力是一对互相强化的进化目标。交互可以暴露仅靠执行反馈无法发现的意图缺陷与工作流短板；而稳定可靠的制作输出，又可以帮助用户输出更有参考价值的创意反馈。示例：用户反馈角色面部前后形象不一致；该交互反馈促使导演智能体在生成视频之前先构建角色人设卡片，保障角色形象一致性。完成能力迭代后，导演会主动向用户确认场景偏好、请求草稿反馈，同时产出角色、场景一致性更高的视频。基于上述洞察，本文提出LIT框架：仿真用户根据用户人设下发创意任务，用来暴露导演智能体在交互、制作流程中的缺陷；元工程师分析对话与制作轨迹，迭代导演的交互策略与导演工作流；修改会跨项目持久生效；引入好奇心驱动协同进化范式，元工程师主动学习外部知识，提升故障定位、方案提出能力；导演、仿真用户、元工程师三者形成完整进化闭环，协同提升两大核心能力。本文主要贡献指出视频导演智能体进化过程中，交互能力与视频制作能力存在相互强化效应。提出协同进化机制，元工程师主动学习外部知识，自身能力同步迭代，强化问题发现与方案生成；导演、仿真用户、元工程师形成进化闭环，同时优化视频制作与用户交互。在标准测试集、OOD分布外测试集，相比初始流水线，制作得分提升19.1%，交互得分提升32.0%；用户研究中过半受试者更认可LIT的意图满足效果。2 相关工作2.1 AI视频导演与多阶段视频生成多阶段视频生成智能体将用户创意拆解为剧本、分镜、素材生成、剪辑；依靠LLM完成高层规划，调用视频生成模型产出成片。一部分工作聚焦自进化：从项目执行轨迹迭代工作流、可复用技能。现有自进化大多只关注视频制作端，很少将用户交互策略纳入同步进化对象。2.2 创意人机交互与仿真用户仿真用户常用于评测对话、创作类智能体；通过人设定义用户的知识背景、沟通风格。创意创作场景，用户反馈、修订意见是重要信号。现有研究大多利用交互反馈去改进生成内容，交互提问策略本身不参与迭代进化。2.3 多智能体协同进化协同进化指系统内部多个组件互相驱动迭代；在游戏、机器人领域已有应用。LIT将协同进化引入视频导演创作场景，让导演智能体、仿真用户、元工程师三者共同迭代，同时优化内容制作与人机交互。3 LIT方法框架LIT是一套支持跨视频项目协同进化的编排框架，三大核心组件：视频导演智能体、仿真用户、元工程师。每一轮进化周期内：导演与仿真用户协作完成整套视频创作流水线；元工程师分析对话、执行轨迹、产出素材，优化导演的制作工作流与交互策略；元工程师也会基于成功、失败的修订案例更新自身任务选择与修订策略。3.1 导演‑用户交互数据集构建「视频导演任务‑用户人设」配对数据集。从视频、剧本公开数据集中提取导演任务；利用大模型合成多样化用户人设；每一条人设定义用户的影视制作知识水平、沟通风格、信息披露习惯，约束初始请求以及后续全部回复；人设一致性校验闭环：挑战者智能体生成探测提问，仿真用户给出回复；审阅智能体核查回复是否符合人设，不符合则迭代修订人设配置。数据集统计：240条任务、284份参考素材、892个规划镜头。不同人设示例（室内场景灯光提问）专业用户：“使用低调布光，柔和侧主光，微弱冷色轮廓光。”非专业用户：“我不太懂灯光，能否给我看几个样例，我从中挑选。”数据集完整统计、人设配置详见附录D。3.2 仿真环境下导演‑用户交互流程LIT采用技能驱动编排框架；进化迭代过程中，技能、控制流、智能体协同逻辑均可被修订。进化轮次k kk，导演、仿真用户、元工程师的可编辑资源包分别记作D k 、 U k 、 M k D_k、U_k、M_kDk、Uk、Mk；资源包包含控制技能、配套工具、素材资产。运行时环境KaTeX parse error: Can't use function '\(' in math mode at position 10: \mathcal{\̲(̲\mathcal{F}\)}实例化各个智能体：KaTeX parse error: Can't use function '\(' in math mode at position 17: …m_{k}=\mathcal{\̲(̲\mathcal{F}\)}\…m k m_kmk

企业数字化 ERP 产品动态

相关推荐

自主意识的虚假本质| 赵杰 | 量子哲学

作者：赵杰清华大学硕士、微美全息云科技（NASDAQ：WIMI）董事长、微算法科技（NASDAQ：MLGO）董事长、育杰奖学金创始人1. 《量子意识爱子论》本体基础宇宙最小意识-能量-信息单元为爱子，全… · 2026/11/4 2:36:15

辩证法仅是表象浅层规则| 赵杰 | 量子哲学

作者：赵杰清华大学硕士、微美全息云科技（NASDAQ：WIMI）董事长、微算法科技（NASDAQ：MLGO）董事长、育杰奖学金创始人总前置理论铺垫（理解辩证矛盾的两大底层根基）一、爱子论… · 2026/11/4 2:36:15

DeepSeek Super-agent 工作原理深度拆解

10月31日晚，DeepSeek 干了一件不大张旗鼓、但后劲很足的事。Harness 团队发了篇技术文章《Super-agent 设计探索：迈向更自主的 Agent 系统》，顺手把原型代码开源了。两天，9000 star。但你可能已经发现了：这两天刷屏的文… · 2026/11/4 2:36:15

渗透测试工程师成长指南：从基础到实战

1. 渗透测试行业的真实挑战作为一名从业多年的网络安全工程师，我见过太多怀揣黑客梦想的年轻人，在接触渗透测试后迅速被现实击垮。这个行业远没有影视作品中那么光鲜亮丽，背后是无数个熬夜研究漏洞的夜晚和持续不断的学习压力。1.1 技术门槛&… · 2026/11/4 3:25:24

PostgreSQL慢SQL排查与优化实战指南

1. 慢SQL问题排查的必要性数据库性能问题就像汽车发动机的积碳——平时感觉不到，一旦爆发就会让整个系统瘫痪。作为PostgreSQL DBA，我处理过上百个慢SQL案例，其中80%的生产事故都是由于未被及时发现的问题SQL逐渐累积导致的。上周刚处理过一个… · 2026/11/4 3:25:24

多目标跟踪实战：检测、预测与匹配的工程取舍

简介：这份资源面向计算机视觉与信号处理方向的学习者，聚焦多目标跟踪（MTT）在MATLAB环境下的实现，适合希望从目标检测、状态估计到数据关联完整走通一遍流程的初中级读者。压缩包共3个文件，以m脚本、avi视频… · 2026/11/4 3:25:24

PostgreSQL慢SQL问题排查与优化实战指南

1. 慢SQL问题排查的必要性上周五凌晨两点，我被一阵急促的电话铃声惊醒。运维同事告诉我生产环境的订单查询接口响应时间从200ms飙升到15秒，用户投诉已经塞满了客服系统。当我连上服务器查看pg_stat_activity视图时，发现有个查询已经运行了8分… · 2026/11/4 3:25:24

Unity等距解谜工程拆解：旋转、路径重算与二次开发实战

简介：这份资源是面向Unity初学者与进阶开发者的《纪念碑谷》风格解谜游戏完整工程，基于Unity 2017.3版本构建，可用于学习2D与3D图形结合、场景搭建、资源管理与C#脚本逻辑等核心开发技能。压缩包共254个文件，约2.61MB，… · 2026/11/4 3:25:24

全屏歌词动画实现指南：Folia内置模式解析与性能调优

全屏歌词动画这件事，很多人第一反应是"不就是把歌词放大铺满屏幕吗"。真上手做过一轮就知道，同样是全屏，有的方案歌词一放大就糊成一片，有的动效一跑起来帧率直接腰斩，还有的在不同分辨率屏幕上位置全乱。我… · 2026/11/4 3:24:24

双极步进电机控制实战：DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49