视频教程
演示视频与封面待补
第 35 集能力拆解进阶阅读约 5 分钟

图生视频的三种输入:首帧、首尾帧、视频参考

首帧管起点,首尾帧管落点,视频参考管运镜。选错输入,重生成多少次都对不上。

输入方式决定你能控制到哪一段。只给首帧,模型自己决定结尾;给了尾帧,两段才接得上;给参考视频,运镜能复用。控制权是按段买的,不是按次买的。

一个按镜头作用选输入的判断,以及三种输入各自的失败特征。
Audience剪辑与后期
Steps4 个切片
Assets总视频 + 图文

Why It Works

为什么这样做

三种输入常常被当成进阶关系:先用首帧,熟了再上首尾帧,高级了用视频参考。这个理解会让人白花很多算力——它们解决的是三个不同的问题,不是三个难度等级。

判断依据是镜头在片子里承担什么:交代起点的镜头给首帧就够;两头都要接的镜头必须给尾帧;要复刻某种运镜的镜头才需要视频参考。选之前先问这个镜头前后接什么,答案就出来了。这三种输入在文镜画师里是三个选项,摹映空间的图生视频面板上能直接切换,切换之后参数会跟着变。

Video Slices

按步骤拆开看,照着做就行

01
步骤截图待补
Step 1

首帧:用在只需要起点的镜头

开场镜头、切入特写、独立成段的空镜,都只需要一个起点。给出首帧,写清运动方向,剩下的交给模型。这类镜头占一条短片的一半以上,不必都上首尾帧。

怎么算做对了

镜头后面接的是切换而不是延续,用首帧就够。判断方法:这个镜头的结束画面会不会出现在下一个镜头的开头,会,就不能只用首帧。这一条能挡掉一半不必要的首尾帧生成,省的是重复劳动。

02
步骤截图待补
Step 2

首尾帧:用在两头都要接的镜头

同一场景里的连续动作、需要落在指定构图上的转场、要和下一段对齐的镜头,都要给尾帧。尾帧不必是成片的一帧,可以单独生成一张,只要构图和光对得上。

怎么算做对了

两段拼接处出现人物位置跳变、光的方向反了,说明尾帧没给或给错了。给了尾帧还跳,检查两张图的光源方向是否一致,不一致先修图再生成。

03
步骤截图待补
Step 3

视频参考:用在要复刻运镜的镜头

推、拉、摇、移这几种运镜,靠文字描述很难说准。给一段 3 到 5 秒的参考视频,模型会学它的运动轨迹,再套到你的画面上。这条路适合广告片和有明确镜头语言的片子。

怎么算做对了

参考视频里主体和你的主体不能差太远,差太远模型会连主体一起学。拍参考视频时用同类物体走一遍,比用成片片段更准。

04
步骤截图待补
Step 4

混用时的顺序:先定尾,再定首

多镜头片子的常见错误是从头往后做。正确顺序是先把每个镜头的落点定下来,再定起点,这样每一段都能接上下一段。反着做,做到第三段就会发现前两段都要重来。

怎么算做对了

一条 30 秒的片子,如果做到一半要回头改前面的镜头,说明落点没先定。落点定好的片子,生成顺序可以打乱,拼接不会出问题。

Before You Publish

发布前过一遍

  • 每个镜头都写清了前后接什么,不是按顺序硬做

  • 需要落点的镜头都给了尾帧,不是只给首帧

  • 用过视频参考的镜头,参考素材的主体和画面主体接近

  • 落点在开机前就定好,没有做到一半回头改

Questions

常见问题

首尾帧的两张图必须来自同一次生成吗?

不必,但必须同源。尾帧可以用首帧局部重绘得到,也可以用同一张底图裁出另一段构图。关键是光的方向、人物比例、色温要和首帧一致,否则中间会漂。

视频参考会不会把原片主体也带过来?

会,这是最常见的翻车。参考视频里主体占比越大,被带过来的概率越高。降低方法是裁掉原片主体只留运动轨迹,或者用同类物体拍一段专门做参考。

三种输入的消耗差多少?

首帧最少,首尾帧略高,视频参考最高,因为它要多读一段视频。具体倍数各家不同,比价时按站内另一篇的四个口径换算,别直接比条数。软件授权费 699 元,算力按量另计。

一条 15 秒片子该用几种?

通常两到三种都用得上:开场用首帧,连续动作用首尾帧,需要一个漂亮运镜的镜头用视频参考。全片只用一种,要么拼接跳,要么运镜平。完整做法在文镜画师学习中心的图生视频页。

Continue

继续下一条教程

镜头长度由动作决定,不由工具上限决定。一个动作 3 秒讲完,拉到 10 秒只会注水。

单镜头多长