跳到正文

功能

AI 舞蹈迁移与编舞复用

作者:Ofrai Editorial(Use Case Research)

AI 舞蹈迁移会把你已经有的编排——拍过的、买过授权的,或者只作为参考表演过一次的那一段——交给你的角色来跳。因为引擎读的是时序而不是像素,同一段 8 拍的编排可以复用到任何造型、服装和场景里。在 Ofrai 上,这个流程跑在视频工作室的参考驱动模型里,用的还是和它背后那些静图同一套积分。

山间湖泊上方停着蓝绿色敞篷车,空中飘着热气球
使用此模板

对话与视频按积分计费。

示例提示词

叙事开场:湖畔山脊上的复古敞篷车与热气球,金色侧光,缓慢横移

舞蹈迁移比通用动作迁移多要求什么

舞蹈是合同更严格的动作迁移:观众是数着拍子看的。在普通动作片段里能蒙混过去的时序误差,在舞蹈里一眼就能看出来,因为节拍是全场共享的参照。实操上这带来三条要求:参考素材要节拍干净、没有速度漂移;不要在拍点上剪;把编排拆成独立的 8 拍小段,这样某一段不满意可以单独重出,不牵动整段。

对齐节拍、拍数与小节长度

速度必须和你最终要剪进去的音乐一致,也就是说参考视频和歌曲要么 BPM 相同,要么你接受后期重新对时。跟一首稳定的录音最容易;如果素材是速度会漂的现场录音,迁出来的舞蹈会慢慢落后。按乐句切段是更好的做法:每 8 拍生成一次,既有干净的剪辑点,坏的一段重跑成本也低。

舞蹈的画面取景与服装选择

舞蹈比其它迁移需要更多身体入镜,因为手臂是动作线的一部分。至少取到膝下,机位放在胸口高度而不是低机位,低角度会压扁透视、让四肢难以辨认。避免人物侧身到手臂压在躯干前。服装的影响比其他任务大:长外套、阔腿裤和夸张首饰会带偏剪影,快速的挥臂就糊了。合身、下摆短的服装效果最好。

让引擎用得上的画面说明

要描述镜头和世界,不要描述编舞——动作本身已经由参考视频携带了。有效的提示词包含景别、运镜、能量感和场景,例如「全身景,平视,流畅循环动作,黄昏天台」。像「有爆发力」「克制」这类词对节奏的帮助远大于逐步描述动作,因为逐步描述会和参考信号打架,产出「差不多但不对」的编排。

群舞与双人段落

一次生成两个舞者是质量下降最快的情况:引擎要同时解两套骨骼,还要处理一个背景,经常把两个人的时序揉在一起。可靠做法是分别生成——同一个干净全身参考,两人各取编排中不重叠的段落——然后在剪辑软件里拼合。要真正齐步,两人的景别必须一致、所取的乐句也必须处在同一相位,也就是对齐分段边界之后再生成。

循环点与社交平台的短切

舞蹈内容靠循环传播。让生成片段的首尾帧在视觉上尽量接近,并要求运镜回到起点,循环播放时才不会有明显的接缝。当一首曲子长于一次生成的时长时,按 8 拍分别生成再在剪辑软件里拼,不要追求一次连续的长编排——单次长输出质量会持续下滑,而且接缝放在拍点上比放在乐句中间容易藏得多。

偏舞蹈的迁移该用哪个引擎

复杂快速的脚步、以及需要手臂线条保持清晰的编排(也就是大部分商业编舞),优先 kling-3。参考素材和角色图来源不同、或舞蹈要和场景互动——道具、长凳、墙面手撑——kling-omni 更合适。简单重复的循环动作用 seedance-2-5 又快又干净。还在试哪几段 8 拍效果最好时,用 wan-2-6 压低成本。

写出拍数与乐句的舞蹈提示词

舞蹈提示词失败,通常是因为写了气氛而没写结构。请改写拍数和小节:「两个 8 拍的嘻哈 bounce,重心左右交替,双臂低垂放松,上身全程面向镜头。」「一个 8 拍:右跨步、交叉、双肩各绕一次、落地转正。」「胸腔 pop 四拍,不动脚步,原地。」可数的乐句给了引擎一个可以对照验证的东西,比「跟着音乐尽情起舞」可靠得多。

还有三条经验值得写进去:脚步和手臂要分开描述,因为只给一个肢体的指令时,另一个往往会被漏掉;明确写清上身是否全程面向镜头,因为舞者转身是有理由的,你不禁止,模型就会替他们转;即使驱动视频已经带着音乐,也在提示词里写清想要的速度,因为参考给出的是节奏,不是乐句。

对齐节拍网格:BPM、拍数与时长

生成之前先把数字算出来,因为它们决定了你之后每一段片子的长度。120 BPM 的曲子,一个四拍乐句是两秒、一个 8 拍是四秒,于是 8 秒的片段正好等于两个 8 拍,拼循环就变得毫无难度。请把时长设成能整除乐句长度的值:对着一个 8 拍用 5 秒或 10 秒,能得到干净的两拍结构,而 7 秒的片段根本找不到地方下刀。

画幅和时长在工作台控件里按这些数字设定,不要写进提示词。如果你的驱动视频是按另一个速度录的,迁移出来的动作通常是对的、同步却是错的;正确做法是在生成之前先把驱动视频卡到曲子的节拍上,而不是事后重新生成。在剪辑软件里把片段对齐节拍网格是免费且精确的。

群舞与双人段落最常见的失败

一帧里出现两个人,是这个工作流最明显的崩坏点,而且崩坏方式相当固定。两人距离最近的那几个瞬间,手指会互相穿插;两人之间的同步只能做到近似而非帧级精确,所以到第二个 8 拍时,总有一人快了半拍;两人穿相同服装时,在交叉动作处会融成一个多肢人物;当两人体型差距明显时,引擎会把双方都往平均值上缩。

可行的做法是:分别用同一段驱动视频把每位舞者单独渲染出来,再在剪辑软件里合成——那里的时间差以帧为单位可控,而不是交给模型去维持。真正的群舞请把人数控制在两到三人;再往上,合成的工作量就不划算了。如果两人服装相似,请用颜色或款式明确区分,而不是靠两个人自己对调来区分。

一个副歌通常要重跑几次

一个 16 拍的副歌按每 8 拍生成一段,通常每段一到两次尝试——也就是说每段准备两到三版,把这个数字当生产计划而不是意外。可预期的规律是:编排的第一段最难,因为引擎还没有建立起来的律动可以延续;一旦你用一段已通过的第一段作为视觉锚点,后面几段的稳定性会明显提高。

先用 wan-2-6 低分辨率打草稿,确认哪些乐句在角色身上真的读起来像舞蹈,这一步能筛掉对所选角色来说节奏过快、根本做不到的段落。通过的乐句再交给 kling-3 正式生成并在剪辑里拼接。如果某一段连续四次都不过,请为这一段换一段驱动视频,而不是继续采样——问题通常出在那段具体的参考素材上,不在模型。

舞蹈迁移和照片跳舞的区别

两者共享节拍网格,但来源完全不同。舞蹈迁移必须有驱动视频:一段表演者跟着音乐真实跳动的素材,模型照着复制。这就是它能准确复现真实编舞、也意味着它会继承表演者的身体比例,同时要求你对所用参考素材拥有权利。照片跳舞工具则从一张静态图出发,根据对律动的文字描述自行编出动作,中间没有表演者。

这条路更便宜、没有参考素材的授权问题,并且对服装和场景的控制力强得多,但它产出的是「看起来在律动」,而不是一段真的编舞——所以当编舞本身很重要时(教学、比赛作品、你花钱买过版权的特定舞蹈),它是错的选择。照片跳舞适合氛围和情绪,迁移适合动作必须正确。

另外请记住:参考视频里表演者的动作虽然被复制了,但表演者本人并没有授权你把这段动作用于商业推广,编舞版权和肖像权是两件独立的事,签任何合作之前都要单独确认。这条留痕在跨境合作里尤其重要,海外市场的授权表格通常会分别列出肖像和表演两项。请一并留痕。

常见问题

我可以迁移一段不属于我的舞蹈编排吗?
技术问题和法律问题要分开看。技术上任何片段都能当参考;法律上编舞是受保护的,把有辨识度的商业编舞用在商业投放里属于权利问题,与参考素材是谁跳的无关。请使用自己的拍摄、委托编舞或公共领域素材,发布前查看模型页条款。
嘻哈和霹雳舞也能迁移吗?
中等速度的编排效果比很多人预期的好,因为引擎读的是关节位置而不是去理解风格。快速的脚步、地面动作和力量动作是最难的情况:它们依赖地面接触和急速变向,逐帧估计更难。把片段缩短、参考视频用固定机位,并挑选舞者保持直立且可见的部分。
舞蹈参考视频多长合适?
8 到 10 秒干净、无遮挡的编排最合适。更长会累积漂移,片段中间任何一处剪切都会打断姿态估计。编排更长的话,请自己按 8 拍切开、一次生成一小段,这样不满意的那一段重试成本也很低。
可以把同一段编排迁到两个舞者身上吗?
可以,但要分开生成。一次生成两个全身往往会导致时序混淆、不同步。各自用干净全身参考,生成编排中不重叠的段落,保持景别和乐句相位一致,再在剪辑软件里剪接。一次过强行齐步,通常比两遍法更费积分。
生成的舞蹈能对上我自己的歌吗?
方法对了就可以。让参考素材的速度和歌曲 BPM 一致,迁出来的时序本身就对得上;再按乐句生成,在剪辑软件里把剪辑点对齐到拍点。如果素材是速度会漂的现场录音会更麻烦——生成出来的节奏是恒定的,而录音会跑。

相关生成器

相关模型

工具