Claude Code + ffmpeg + ElevenLabs + Remotion：命令行智能体驱动的视频自动化流水线

1. 项目缘起当视频处理遇上命令行智能体第一次看到video-use这个标题我脑子里蹦出来的不是某个具体的开源库而是一类正在快速成型的开发范式把视频处理这种传统上依赖图形界面、拖拽时间线的重活交给命令行里的智能体去编排。核心思路很直接——用 Claude Code 作为调度大脑用 ffmpeg 作为底层执行引擎用 ElevenLabs 处理语音合成与克隆再用 Remotion 做程序化视频渲染四者串成一条从素材到成片的自动化流水线。这套组合能解决什么问题举个我自己的场景每周要产出十几条短视频内容结构固定无非是开场白、正文讲解、结尾引导但每条的口播稿不同、配图不同、背景音乐不同。以前的做法是打开剪辑软件手动替换素材、对齐音轨、导出成片一条视频折腾二十分钟。现在我把这套流程拆成可复用的脚本Claude Code 负责理解我的自然语言指令并生成对应的 ffmpeg 命令和 Remotion 组件代码ffmpeg 负责转码、裁剪、拼接、混音ElevenLabs 负责把文字稿转成自然人声Remotion 负责把 React 组件渲染成视频帧序列。整个链条跑通之后一条视频从文案到成片压缩到三分钟以内。适合谁来参考如果你是有一定命令行基础的内容创作者、独立开发者、或者正在做视频自动化工具的技术人员这套方案能直接抄作业。如果你完全没碰过终端也不用慌我会把每个环节的安装、配置、踩坑点都拆开讲照着做就能跑起来。关键词里高频出现的claude code 安装、ffmpeg 安装、ffmpeg 使用教程、claude code 使用教程我都会在对应章节里给出可复现的步骤。提示本文涉及的所有工具均为合法合规的通用软件使用场景限于个人内容创作与合法的视频处理需求。请确保你的素材来源和输出内容符合相关平台规范。2. 整体架构设计为什么是这四个工具的组合2.1 工具选型背后的逻辑先说说为什么是这四个而不是别的组合。视频自动化处理这个领域工具链的选择其实很多比如用 Python 的 moviepy 做剪辑、用 FFmpeg 的 Python 绑定做封装、用 After Effects 的脚本做模板渲染。我最终锁定 Claude Code ffmpeg ElevenLabs Remotion是经过几轮试错之后的结论。ffmpeg 是绕不开的底座。不管上层用什么花哨的工具最终视频的编解码、封装、流处理底层几乎都是 ffmpeg 在干活。它的命令体系虽然陡峭但一旦掌握处理效率是图形界面没法比的。关键词里ffmpeg命令、ffmpeg使用、ffmpeg m3u8转换mp4格式这些搜索词的高频出现本身就说明它是刚需。Claude Code 解决的是命令生成和流程编排的问题。ffmpeg 的命令参数多如牛毛-vf、-af、-filter_complex这些滤镜链写起来容易出错。Claude Code 作为命令行智能体能根据我的自然语言描述生成对应的命令还能在报错时帮我分析原因。关键词里claude code接入deepseek、claude code skill、claude code怎么手动装github上的skills这些说明大家最关心的就是怎么把它接进自己的工作流。ElevenLabs 负责语音层。视频的口播部分如果用真人录音成本高、周期长用系统 TTS机械感太重。ElevenLabs 的语音克隆和情感合成能力目前在这个价位段里是性价比最高的。它提供 REST API可以直接用 curl 或 Python 调用跟 ffmpeg 的音频处理链路能无缝衔接。Remotion 负责程序化渲染。传统的视频模板工具改一个文字要重新导出整个工程。Remotion 用 React 组件描述视频数据变了重新渲染就行特别适合批量生产结构固定的视频。它的渲染输出是帧序列或直接调用 ffmpeg 编码跟前面的工具链天然契合。2.2 数据流转的完整链路把这四个工具串起来数据流转是这样的我先写好一份结构化的文案JSON 或 YAML里面包含每段的文字、对应的配图路径、时长要求。Claude Code 读取这份文案调用 ElevenLabs API 生成每段的语音文件同时生成 ffmpeg 命令把语音、配图、背景音乐合成中间视频。对于需要动态排版的部分Claude Code 生成 Remotion 组件代码渲染出带字幕和动画的片段。最后用 ffmpeg 把所有片段拼接、统一转码、输出成片。这个链路里Claude Code 扮演的是翻译官和调度员的角色——把我的意图翻译成各工具能执行的指令并管理执行顺序和依赖关系。ffmpeg 是苦力干所有重活。ElevenLabs 和 Remotion 是专业工种各管一摊。2.3 方案的优势与边界这套方案最大的优势是可复用和可版本控制。所有配置、文案、脚本都是文本文件能放进 Git 管理。改一个参数重新跑一遍脚本就行不用打开任何图形界面。对于需要批量产出、风格统一的视频项目效率提升是数量级的。但它也有边界。第一它不适合做创意性极强的剪辑比如复杂的转场特效、精细的调色这些还是得靠专业剪辑软件。第二它对文案的结构化程度要求高如果你的内容每次结构都不一样维护成本会很高。第三Claude Code 生成的命令需要人工审核不能完全放手让它跑尤其是涉及文件删除、覆盖的操作。注意在生产环境使用前务必在测试目录里跑通全流程确认输出符合预期后再处理正式素材。ffmpeg 的-y参数会直接覆盖同名文件误操作可能导致素材丢失。3. 环境搭建从零把工具链装起来3.1 ffmpeg 的安装与验证ffmpeg 的安装是第一步也是最容易卡住的一步。关键词里ffmpeg安装、ffmpeg下载、ffmpeg下载官网、ffmpeg master latest win64 essentials.zip、ffmpeg安装包这些搜索词说明很多人在找安装包这一步就遇到困难。Windows 下的推荐做法是去 ffmpeg 官网的下载页面找到 Windows builds 的链接下载ffmpeg-master-latest-win64-gpl.zip这个包。解压之后会得到bin目录里面有ffmpeg.exe、ffprobe.exe、ffplay.exe三个可执行文件。把bin目录的绝对路径加到系统环境变量Path里然后在新的命令行窗口里执行ffmpeg -version能看到版本信息就说明装好了。macOS 下用 Homebrew 最省事brew install ffmpeg一条命令搞定。如果想支持更多编码格式可以加上--with-fdk-aac之类的选项不过现在 Homebrew 的默认配方已经够用了。Ubuntu 下用apt install ffmpeg但要注意系统源里的版本可能比较旧。如果需要新版本可以添加官方的 PPA 或者自己编译。关键词里ubuntu安装claude code和ffmpeg 安装经常一起出现说明不少人在 Linux 环境下做这套工具链。安装完成后用ffmpeg -codecs查看支持的编解码器列表确认libx264、aac、libmp3lame这些常用编码器都在。如果缺了某个编码器后面处理视频时会报Unknown encoder的错误。提示Windows 下如果遇到ffmpeg 不是内部或外部命令的报错99% 是环境变量没配好。检查 Path 里是否加了 bin 目录的绝对路径加完之后一定要重开命令行窗口旧窗口不会自动加载新环境变量。3.2 Claude Code 的安装与配置Claude Code 的安装方式取决于你的使用场景。关键词里claude code安装、claude code安装教程、claude code下载、windows安装claude code、安装claude code、卸载claude code这些搜索词覆盖面很广我按平台分别说。在 macOS 和 Linux 下官方推荐用 npm 全局安装npm install -g anthropic-ai/claude-code。前提是你已经装了 Node.js 18 以上版本。装完之后在终端里输入claude第一次运行会引导你完成认证配置。Windows 下的情况稍微复杂一些。原生 Windows 环境目前支持有限推荐的做法是用 WSL2Windows Subsystem for Linux在 WSL 的 Ubuntu 环境里按 Linux 的方式安装。这样也能顺便解决 ffmpeg 在 Windows 下路径处理的一些兼容性问题。关键词里windows claude code cc-connect 飞书这种组合说明有人在做 Windows 下的协作集成但基础安装还是建议走 WSL。VS Code 用户可以直接在扩展市场里搜 Claude Code 的官方扩展关键词里vscode配置claude code、vscode安装claude code、claude code vscode都是这个场景。装完扩展之后在 VS Code 的集成终端里就能直接调用 Claude Code还能让它读取当前打开的文件作为上下文写脚本的时候特别方便。配置方面核心是设置 API 密钥和模型选择。Claude Code 支持接入不同的模型后端关键词里claude code接入deepseek、claude code接deepseek、claude code deepseek 4.1说明很多人想用 DeepSeek 作为后端来降低成本。具体配置方式是在 Claude Code 的设置文件里指定 API 端点和密钥不同版本的配置项名称可能略有差异建议以官方文档为准。注意关键词里出现了note: claude code might not be available in your country. check supported co这样的提示说明部分地区可能无法直接使用官方服务。遇到这种情况请查阅官方文档了解你所在地区的支持情况选择合规的替代方案。3.3 ElevenLabs 与 Remotion 的准备ElevenLabs 的接入相对简单注册账号后在后台拿到 API Key然后用官方的 Python SDK 或直接发 HTTP 请求就行。它的核心接口是文本转语音TTS支持指定 voice ID、模型、稳定性、相似度等参数。我一般会把常用的 voice ID 记在配置文件里脚本里直接引用。Remotion 是一个 Node.js 项目用npx create-video初始化一个工程然后在src目录下写 React 组件。它的核心概念是Composition每个 Composition 对应一个视频模板通过useCurrentFrame和interpolate控制动画。渲染命令是npx remotion render可以指定输出格式、码率、并发数等参数。这两个工具的详细用法我会在后面的实操章节里展开这里先把环境准备好就行。4. 核心实操从文案到成片的完整流程4.1 文案结构化一切自动化的起点整套流程的输入是一份结构化的文案文件。我习惯用 YAML因为可读性好写起来也快。一个典型的文案文件长这样title: ffmpeg 批量转码实战 segments: - id: 1 text: 今天讲一下怎么用 ffmpeg 批量把 m3u8 转成 mp4。 image: assets/intro.png duration: 5 - id: 2 text: 核心命令是 ffmpeg -i input.m3u8 -c copy output.mp4。 image: assets/command.png duration: 8 - id: 3 text: 注意 -c copy 是流复制不重新编码速度最快。 image: assets/note.png duration: 6 bgm: assets/bgm.mp3 voice_id: your_voice_id每个 segment 包含文字、配图、预估时长。时长这个字段很关键它决定了语音生成后的对齐方式。我的做法是先让 ElevenLabs 生成语音然后用 ffprobe 读取实际时长再反过来调整视频片段的长度保证音画同步。Claude Code 在这个环节的作用是帮我校验文案结构、生成缺失的字段、或者根据我的口头描述批量生成 segment。比如我说把这段文字按每句拆成一段它就能自动切分并填充 id 和 duration 的默认值。4.2 语音生成ElevenLabs 的调用与参数调优ElevenLabs 的 TTS 接口调用不复杂但参数调优有讲究。核心参数有这么几个参数作用推荐值说明voice_id指定音色自定义克隆音色在后台克隆自己的声音一致性最好model_id模型选择eleven_multilingual_v2多语言支持好中文自然度高stability稳定性0.5太低会飘太高会平0.5 是平衡点similarity_boost相似度0.75越高越像原声但过高会有机械感style风格强度0.3控制情感表达新闻类调低故事类调高我一般写一个 Python 脚本批量处理import requests import os API_KEY os.environ[ELEVENLABS_API_KEY] VOICE_ID your_voice_id def generate_voice(text, output_path): url fhttps://api.elevenlabs.io/v1/text-to-speech/{VOICE_ID} headers { xi-api-key: API_KEY, Content-Type: application/json } payload { text: text, model_id: eleven_multilingual_v2, voice_settings: { stability: 0.5, similarity_boost: 0.75, style: 0.3 } } response requests.post(url, jsonpayload, headersheaders) with open(output_path, wb) as f: f.write(response.content)生成完之后用ffprobe -v error -show_entries formatduration -of defaultnoprint_wrappers1:nokey1 output.mp3读取时长写回文案文件。提示ElevenLabs 按字符计费批量生成前先用短文本测试音色和参数确认效果后再跑全量。另外它的接口有并发限制批量请求时加个time.sleep(1)避免触发限流。4.3 ffmpeg 合成把语音、图片、音乐拼成视频这是整个流程里 ffmpeg 出场最多的环节。核心任务是把每个 segment 的语音、配图合成一个视频片段然后加上背景音乐最后拼接所有片段。单个片段的合成命令大致是这样ffmpeg -loop 1 -i assets/intro.png -i voice_1.mp3 \ -c:v libx264 -tune stillimage -c:a aac -b:a 192k \ -pix_fmt yuv420p -shortest -vf scale1920:1080 \ segment_1.mp4这里几个参数值得说明。-loop 1让静态图片循环-tune stillimage优化静态图像的编码效率-shortest让视频长度对齐音频长度-pix_fmt yuv420p保证兼容性-vf scale1920:1080统一分辨率。如果配图是视频素材去掉-loop 1和-tune stillimage就行。如果要做画中画或者叠加字幕用-filter_complex构建滤镜链。所有片段生成后用 concat 协议拼接# 先生成文件列表 for f in segment_*.mp4; do echo file $f list.txt; done # 拼接 ffmpeg -f concat -safe 0 -i list.txt -c copy output_raw.mp4最后混入背景音乐ffmpeg -i output_raw.mp4 -i assets/bgm.mp3 \ -filter_complex [1:a]volume0.15[bgm];[0:a][bgm]amixinputs2:durationfirst[aout] \ -map 0:v -map [aout] -c:v copy -c:a aac -b:a 192k output_final.mp4volume0.15把背景音乐压到 15% 音量amix做混音durationfirst保证输出长度跟视频一致。4.4 Remotion 渲染动态字幕与动画片段对于需要动态效果的部分比如逐字出现的字幕、数据图表动画用 Remotion 来做。它的工作方式是定义一个 React 组件Remotion 逐帧渲染最后编码成视频。一个简单的字幕组件import { useCurrentFrame, interpolate, AbsoluteFill } from remotion; export const Subtitle ({ text, startFrame, endFrame }) { const frame useCurrentFrame(); const opacity interpolate(frame, [startFrame, startFrame 10, endFrame - 10, endFrame], [0, 1, 1, 0]); return ( AbsoluteFill style{{ justifyContent: flex-end, alignItems: center, paddingBottom: 100 }} div style{{ opacity, fontSize: 48, color: white, textShadow: 2px 2px 4px black }} {text} /div /AbsoluteFill ); };渲染命令npx remotion render src/index.tsx Subtitle out/subtitle.mp4 --codech264 --crf18--crf18控制画质数值越小画质越好文件越大18 是视觉无损的常用值。Remotion 渲染出来的片段再用 ffmpeg 跟主视频合成。如果字幕是叠加在已有视频上可以用overlay滤镜如果是独立片段直接 concat 拼接。4.5 Claude Code 的编排把命令串起来前面每个环节的命令单独跑都不难难的是把它们串成一条自动化的流水线。Claude Code 在这里的价值就体现出来了。我的做法是写一个pipeline.md文件用自然语言描述整个流程然后让 Claude Code 读取这个文件生成对应的 shell 脚本。比如我写读取 content.yaml对每个 segment 调用 ElevenLabs 生成语音用 ffprobe 读取时长然后用 ffmpeg 合成片段最后拼接并混入背景音乐。Claude Code 会生成一个包含所有步骤的 bash 脚本我审核一遍确认没有危险操作比如rm -rf然后执行。关键词里claude code skill、claude code怎么手动装github上的skills说明很多人想扩展 Claude Code 的能力。我的经验是对于这种固定流程的自动化不需要装额外的 skill直接让它生成脚本就行。Skill 更适合需要反复调用的复杂逻辑比如分析视频内容并生成摘要这种。注意Claude Code 生成的脚本一定要人工审核尤其是涉及文件路径、删除操作、网络请求的部分。我踩过的坑是它有时候会生成-y参数直接覆盖文件如果路径写错了素材就没了。建议在脚本开头加set -e让出错时立即停止避免错误累积。5. 常见问题与排查技巧实录5.1 ffmpeg 相关的高频报错问题一Invalid argument报错。关键词里ffmpeg invalid argument是高频搜索词。这个报错范围很广常见原因有输入文件路径含空格没加引号、滤镜参数格式错误、编码器不支持某个像素格式。排查方法是把命令拆开先单独测试输入文件能否读取ffprobe input.mp4再逐步加参数定位到具体哪一步出错。问题二Unknown encoder libx264。说明当前 ffmpeg 编译时没包含这个编码器。Windows 下换用 gpl 版本的构建包Linux 下重装带完整编码器的版本。用ffmpeg -codecs | grep 264确认。问题三m3u8 转 mp4 后音画不同步。关键词里ffmpeg m3u8转换mp4格式很多人搜。m3u8 是切片流转 mp4 时如果切片的时间戳不连续就会出现不同步。解决办法是加-fflags genpts重新生成时间戳或者用-async 1做音频同步。问题四推流延迟高。关键词里ffmpeg推流到srs存在延迟、rk3588 ffmpeg推流涉及推流场景。延迟主要来自编码缓冲和网络传输。降低延迟的方法用-tune zerolatency优化编码器减小-g关键帧间隔用-preset ultrafast加快编码速度。但要注意这些参数会牺牲画质和压缩率。5.2 Claude Code 使用中的坑问题一安装后命令找不到。npm 全局安装的包如果 npm 的全局 bin 目录不在 PATH 里就会报 command not found。用npm config get prefix找到全局目录把它加到 PATH 里。问题二认证失败。检查 API 密钥是否正确、是否有余额、网络是否能访问 API 端点。关键词里claude code might not be available in your country提示了地区限制问题遇到这种情况请查阅官方文档了解支持范围。问题三生成的命令不符合预期。Claude Code 的理解能力取决于提示词的清晰度。我的经验是把需求拆得越细越好比如不要只说处理视频而是说用 ffmpeg 把 input.mp4 的分辨率改成 1280x720码率 2M输出到 output.mp4。给它具体的参数和示例生成结果会准确很多。问题四上下文丢失。长对话中 Claude Code 可能会忘记前面的约定。解决办法是把关键约定写在一个文件里每次让它先读这个文件。或者用claude code sdk下载提到的 SDK 方式把上下文管理做成代码逻辑。5.3 跨平台编译的注意事项关键词里【跨平台交叉编译】android 编译 x264 ffmpeg 万字完结篇、ffmpeg for android已编译、ffmpeg 编译dll库涉及编译场景。这块的坑比较多我简单说几个要点。Android 编译 ffmpeg 需要 NDK先编译 x264 作为依赖再编译 ffmpeg 并链接 x264。关键是配置--cross-prefix、--sysroot、--extra-cflags这些参数指向 NDK 里的工具链。编译产物是.so动态库通过 JNI 调用。Windows 编译 dll 库推荐用 MSYS2 环境安装 mingw-w64 工具链然后按 Linux 的方式配置编译。注意--enable-shared生成动态库--enable-static生成静态库按需选择。这类编译工作耗时较长建议写个脚本把配置参数固化下来避免每次手动输入出错。5.4 常见问题速查表问题现象可能原因排查方法解决方案ffmpeg 命令找不到环境变量未配置echo $PATH添加 bin 目录到 PATHUnknown encoder编码器未编译ffmpeg -codecs换用完整版构建包音画不同步时间戳不连续ffprobe查看流信息加-fflags genpts推流延迟高编码缓冲大检查-g和-preset用 zerolatency 和 ultrafastClaude Code 认证失败密钥或网络问题检查密钥和连通性核对配置查阅官方文档渲染输出花屏像素格式不兼容检查-pix_fmt统一用 yuv420p混音后背景音乐太响音量未调整试听输出用 volume 滤镜压低批量生成触发限流并发过高查看 API 返回码加延时或降低并发6. 我踩过的坑与实操心得6.1 路径处理是万恶之源Windows 和 Linux 的路径分隔符不同空格和中文路径更是灾难。我的做法是全程用绝对路径路径里不含空格和中文所有文件放在一个专门的工程目录下。ffmpeg 的命令里路径一律加双引号虽然麻烦但能避免 90% 的Invalid argument报错。Claude Code 生成命令时如果我没指定路径格式它可能混用正反斜杠。所以在提示词里明确说使用 Linux 风格的绝对路径生成结果会规范很多。6.2 先跑通单条再批量我一开始贪快直接写了个循环处理几十条视频结果第一条就报错后面的全挂了还覆盖了几个中间文件。后来改成先手动跑通一条完整流程确认每个环节的输出都正确再把命令参数化最后才批量执行。这个顺序看起来慢实际上省了大量排查时间。6.3 中间产物要保留ffmpeg 处理过程中会产生很多中间文件语音、片段、临时视频。我一开始为了省空间每步都删中间文件结果某一步出错要重跑时前面的都得重新生成浪费了大量 API 调用和时间。后来改成保留所有中间产物只在最终确认无误后手动清理。空间换时间这笔账划算。6.4 版本锁定很重要ffmpeg 和 Remotion 都在快速迭代不同版本的参数和行为可能有差异。我在工程目录里放了一个versions.txt记录当前使用的各工具版本号。换机器或者重装系统后按这个版本号安装能避免昨天还能跑今天就不行的问题。关键词里ffmpeg 安装后重装了系统 如何回复这种搜索本质上就是版本和环境没锁定导致的。6.5 音频处理的两个细节第一个细节是采样率。ElevenLabs 输出的音频采样率可能跟 ffmpeg 默认的不一致混音时会出现变速或变调。解决办法是在 ffmpeg 命令里统一指定-ar 44100把所有音频重采样到 44.1kHz。第二个细节是音频淡入淡出。直接拼接的语音片段首尾会有突兀的截断感。加个afade滤镜让每段语音的开头和结尾有 50 毫秒的淡入淡出听感会自然很多ffmpeg -i voice.mp3 -af afadetin:st0:d0.05,afadetout:st$(duration-0.05):d0.05 voice_faded.mp3这个技巧在批量生产时特别有用能让成片的专业度提升一个档次。6.6 关于 Claude Code 的使用边界Claude Code 很强但不是万能的。它擅长的是把明确的意图翻译成命令不擅长的是替你做创意决策。比如这段视频用什么转场效果这种问题它给的建议往往很泛。我的用法是创意和结构我自己定具体的命令实现交给它。这样分工效率最高出错也最少。另外涉及 API 密钥、账号密码这类敏感信息绝对不要直接写在提示词里。用环境变量传递Claude Code 生成的脚本里引用环境变量名就行。7. 后续可以扩展的方向这套流程跑通之后能扩展的地方很多。比如把文案生成也接进来用大模型根据热点自动生成口播稿比如把发布环节也自动化渲染完成后自动上传到内容平台比如加一个质量检查环节用 ffprobe 检查输出视频的分辨率、码率、时长是否符合规范不符合就自动重跑。Remotion 那边可以做的更多把常用的字幕样式、转场效果、数据可视化组件封装成可复用的模板库新项目直接引用。ffmpeg 那边可以写一个参数配置层把常用的编码预设比如抖音竖屏、B站横屏、微信视频号固化成配置文件切换平台时改一个参数就行。我个人在实际操作中的体会是这套工具链的价值不在于单个工具多强而在于它们之间的衔接足够顺畅。Claude Code 把自然语言和命令行之间的鸿沟填上了ffmpeg 把视频处理的脏活累活包了ElevenLabs 和 Remotion 把语音和视觉的专业门槛降低了。四个凑在一起一个人就能撑起一条小型视频生产线。最后再分享一个小技巧把整个工程目录做成 Git 仓库每次跑通一个新流程就提交一次出问题可以随时回滚到上一个可用版本这比任何备份方案都靠谱。