功能
AI 动作迁移视频生成
作者:Ofrai Editorial(Use Case Research)
AI 动作迁移把一段视频里的动作迁移到另一个角色的形象上:已有的表演可以不重拍,直接由你的角色演出来。你提供一段参考动作视频负责节拍和姿态,再提供一张角色图负责外形,Ofrai 的视频引擎会逐帧重新对时。对舞蹈编排、体育示范、武术和产品运动展示这类「动作比脸重要」的素材,这套方法特别实用。
动作迁移迁移的到底是什么
这是一个双输入任务:参考视频提供节拍、姿态和速度,角色图提供外形。引擎不会自己编舞,而是逐帧把你的角色的身体重新对齐到参考表演上。这一点直接决定提示词怎么写:描述角色在镜头里的处境,而不是描述他该怎么动;一旦去描述动作,就会和参考信号打架,出来的身体一半跟提示词、一半跟视频。
怎么挑一段能迁得干净的参考视频
画质比时长重要得多。选一段全身在画面里出现时间较长、背景简单、遮挡少、视频里没有剪切和甩镜的素材。剪辑点、快速摇镜和运动模糊都会打断逐帧的姿态估计,出来的典型症状是肢体跳变或脚底打滑。三脚架固定机位拍的全身素材,迁移成功率远高于画面漂亮的手持镜头。
十秒可用素材,胜过四十秒里有两处切镜的素材。
先准备好要被驱动的角色图
角色图本质上是一个姿态问题:正面、全身、双脚可见、手臂不要贴着躯干,模型才有干净的剪影可以驱动。半身或胸像图会让模型在腰部以下无据可依,只能自己编腿。光线要均匀、没有硬投影,避免极端透视,起始姿态尽量中性。如果整段视频里身份要保持一致,再补一张干净的正脸参考图一起上传。
让迁移看起来像「拍」的镜头说明
镜头说明决定了结果像实拍还是像拼接。明确写出景别、机位和机位运动,例如「中全景,平视,三脚架固定」。如果参考视频本身有运镜,角色会跟着继承,与其碰运气不如直接写出来。镜头语言要和角色图保持一致:一张按 85mm 质感生成的人物套上 24mm 广角描述,比例会被压扁,播到一半就像换了个人。
画幅、时长与剪辑点
按参考视频的画幅出,而不是按静态角色图的画幅,因为姿态几何是带着构图来的。要发社交平台,全程 9:16 最省事。时长和参考素材对齐:短片段配一个缓慢推进可以接受,但让引擎在参考结束后自己续编舞,是画质崩掉的高发点。需要 20 秒时,做两段 8 秒再在剪辑软件里剪接,让动作把接缝藏住。
迁移为什么会糊,以及怎么修
四类典型问题:急转方向时肢体跳变,换一段过渡更平滑的参考即可;脚底滑动,是因为角色图的鞋和地面不匹配,选一块平坦、均匀受光的地板;服装被带跑,长外套、裙摆和飘动的头发会朝参考身体的轮廓靠,迁移前把服装简化;后半段身份漂移,则在每段开头重新上传原始角色图做锚定。
参考驱动的动作该用哪个引擎
这四个里 kling-3 在复杂人体动作和舞蹈编排上最强,而迁移的难点基本都在这里。kling-omni 适合参考视频和角色图来源差异大、需要引擎去调和的情况,或表演者与道具互动的场景。seedance-2-5 在简单重复动作上快而干净。wan-2-6 适合先用低成本试节拍和构图,再花钱出终稿。
三段带完整设置的动作迁移提示词
第一段,走路转身:角色图加驱动视频,提示词写「走三步,停住,用两秒转向镜头左侧,保持最后的姿势。保留原来的脸、服装和背景。固定机位。」第二段,带道具的手势:「拿起陶瓷杯送到嘴边再放下,手肘贴近身体。服装和房间完全不变。」第三段,重复动作:「以稳定节奏做两遍同样的手臂绕环,重心在髋部移动,镜头不动。」
三段的共同点是:动作来自驱动视频,提示词只描述迁移之后要怎么处理它。在本身已有运镜的驱动视频上再加一条运镜指令,是产出「双重运镜」废片最常见的原因。
驱动视频与角色图各自负责什么
必须把权限在两个输入之间分清楚,否则它们会互相打架。驱动视频负责时间、身体轨迹、重心转移、手势幅度和动作节奏。角色图负责身份、面孔、发型、服装、身体比例和场景。
两者职责重叠的部分——起始姿势、体表形状、看起来的光线——正是漂移出现的位置,所以最顺利的迁移任务里,参考视频里表演者穿的衣服和角色大致属于同一类:两边都是合身外套,或者两边都是宽松运动装;如果角色穿着及地大衣、参考表演者只穿背心短裤,每一帧的下摆都会糊成一片。
对齐的是服装类别而不是具体那件衣服,同时让驱动视频的机位高度和角色图的构图一致,地面平面才不会打架。
让手脚落点踩准节拍的时机控制
驱动视频里动作从哪里开始,决定了输出里动作从哪里开始,这是你能控制时机的唯一入口。如果迁移比预期晚了一拍,请裁掉驱动视频的开头,而不是在提示词里写「延迟之后」——裁剪是精确的,提示词只是近似。动作落点需要精准时,让驱动视频的前半秒相对静止,引擎才有明确的静止姿势作为起跳点。
做重复动作时,挑那些建立在可数节拍上的参考——两步、一次伸手、三次拍手——模型复现可数循环的能力远好过复现不可数的乐句。如果结果和底下的音乐差了一拍,请在剪辑里挪两帧,而不是重新生成:动作本身通常是对的,只是没同步上,而这是视频工作里最便宜的修法。
每条片段的积分与渲染时间预期
按条预算,不要按成片预算,因为迁移会产出大量「差一点」的素材。本页引擎下单动作为 5 秒,一次通常需要两到四次尝试:第一次确认这套输入到底能不能迁,第二次修具体的瑕疵,偶尔还要第四次才拿到干净终稿。驱动视频越长,成本越高、漂移越大,所以即使你最终需要 10 秒,6 秒的目标通常也比 10 秒更便宜,因为后者被重生成的频率更高。
用 wan-2-6 低成本确认节拍和构图,再把已经验证过的片段丢给 kling-3 或 seedance-2-5。如果某段驱动视频反复失败,最划算的换法是换一段视频,而不是在同一条上再试第四次。
动作迁移和舞蹈迁移、换装的区别
三者都读两个输入,但读的东西不同,失败方式也不同。动作迁移把驱动视频的动作复制到你的角色上,不关心节拍、拍数和乐句,这让它适合走路、转身、手势、拉伸,或者吉祥物式表演这类节奏由你决定的场景。舞蹈迁移是同样的机制加了一份更严的合同:节拍、拍数和小节长度都必须和音乐对齐,所以它需要一段按音乐卡点剪好的参考视频。
换装则是保留你自己素材里的动作、替换服装,那根本不是迁移任务,驱动素材就是你自己的原片。参考视频带音乐就走舞蹈那页;是别人表演的素材就走本页;想给自己拍的素材换衣服,走换装那页。
最后提醒一条合规细节:驱动视频里出现的是真人表演,哪怕只是几秒钟的参考,你也需要确认这段素材的使用权,通常也需要发布方本人的同意。把这条留痕记录在项目文件夹里,比事后解释要便宜得多。另外提醒一句关于输出的事:迁移出来的片段里,人物的动作是真实的,但那张脸是合成的,两者的授权状态并不相同。
对外发布前请分别确认,不要因为动作是真人做的就默认肖像也是真人。请分别确认。请分别确认。请把这条分别记录下来,不要因为动作和肖像看起来属于同一段素材就只核对其中一项,这在跨境投放时尤其容易被问到。
常见问题
- 动作迁移和动作控制有什么区别?
- 动作控制是绑定系统:你用参数驱动具体关节或运镜路径。动作迁移更接近表演重定向——引擎读取参考视频,让你的角色整体匹配它的节拍、姿态和速度。你已经有全身舞蹈或打斗素材时用迁移;只是让静态人物做固定的运镜时,控制更便宜也更可预测。
- 参考视频必须露出脸吗?
- 不用。参考视频是按骨骼、节拍和速度来读的,所以排练版、侧面机位、宽松服装的素材,往往比精修成片迁移得更干净。真正重要的是四肢可见、背景简单、帧率稳定。角色图另外准备,保持高画质。
- 为什么生成几秒后角色就变了?
- 因为模型每帧都在重新采样主体,身份漂移会累积。办法是:始终带上同一张角色参考图、把片段切短再剪接、每段开头重新上传原始参考。单次生成 15 秒以上的长视频,漂移最明显。
- 全身照片能做动作迁移吗?
- 可以,但必须是真正全身:头到脚都在画面里、手臂离开躯干、双脚踩在看得见的地面上。半身图会让模型在腰部以下自行发挥,编出腿来。如果你手上只有一张肖像,先在图片工作室生成一张全身静图,再拿那张帧去驱动。
- Ofrai 上哪个引擎做动作迁移最好?
- 复杂的人体动作和舞蹈编排放 kling-3;参考素材和角色图来源不同、或需要和道具互动时放 kling-omni;简单重复动作用 seedance-2-5;预算有限想先试节拍就用 wan-2-6。四个模型共用同一套 Ofrai 积分。
