本文へスキップ

機能

振り付けを再利用するためのAIダンス転送

AIダンス転送は、すでに持っている振り付けのルーティンを、自分のキャラクターに演じさせます。そのルーティンは撮影済みでも、ライセンスを得たものでも、参考として一度だけ演じたものでも構いません。エンジンは画素をそのまま写すのではなくタイミングを読むので、同じ16カウントのフレーズを、どんな見た目でも、どんな衣装でも、どんな場所のコンテンツにも再利用できます。 Ofrai ではこれを動画スタジオの参照駆動モデルで実行し、背後にある静止画と同じクレジット残高を使います。

山の湖を見下ろす青緑のオープンカーと空に浮かぶ気球

チャットと動画はクレジットを消費します。

プロンプト例

参照ダンスの振付をストリートウェアの成人ダンサーへ。ビート同期、全身。

一般的なモーション転送にダンス転送が加えるもの

ダンスは、より厳しい約束のもとでのモーション転送です。観客はカウントを数えることができます。一般的なアクション映像では見逃されるタイミングの誤差も、ルーティンではすぐに目立ちます。拍が、その場にいる全員が共有する基準だからです。実務では、これによって三つの扱いが変わります。テンポが揺れない、音楽的にきれいな駆動クリップを保つこと。

拍の上で切れてしまうフレーズを避けること。そしてルーティンを、自己完結した8カウントの区間の連続として扱うことです。弱い区間だけを再生成でき、残りのランには触らずに済みます。

拍とカウントとフレーズの長さを合わせる

テンポは、映像を切り合わせる音声と一致している必要があります。参照クリップと音楽が同じ BPM であるか、生成されたダンスを編集ソフトで時間調整し直すことを受け入れるか、のどちらかです。トラックに合わせて生成するのは、トラックが一定のときほど簡単です。テンポが揺れるライブ録音は、転送されたルーティンを少しずつ遅らせます。フレーズ単位で区切ってください。

1回の生成を8カウントにすると、きれいなカット点が得られ、悪い区間を一つ直す費用も安くなります。

ダンス向けの全身の画角と衣装

ダンスは、ほかの転送より多くの身体が画面に入る必要があります。腕がラインの一部だからです。最低でも頭から膝の下までを収め、カメラは低い位置ではなく胸の高さに置きます。低いアングルは遠近を潰し、手足を読みにくくします。腕が胴体を横切る角度でキャラクターを撮るのは避けてください。衣装はほかの仕事より重要です。

長いコート、幅の広いズボン、重い装身具はシルエットを引きずり、速い腕のラインをにじませます。体に沿った衣装で裾が短いものが、最もきれいな結果になります。

エンジンが使えるルーティンメモの書き方

カメラと世界を描写し、振り付けそのものは書かないでください。参照クリップがすでに動きを運んでいます。役に立つ指示は、ショットの大きさ、動きの様式、エネルギーの高さ、場所を名指しします。たとえば全身ショット、目の高さ、滑らかにループする動き、ゴールデンアワーの屋上、という具合です。 energetic/controlled のような語は、個々のステップを名指しするより、ペースの助けになります。

ステップごとの説明は駆動参照と競合し、ほぼ正しいだけのルーティンを生みます。

集団の振り付けと二人組の区間

1回の生成に二人のダンサーを入れると、転送の品質が最も速く落ちます。エンジンが一つの背景に対して二つの骨格を解く必要があり、しばしばタイミングを混ぜてしまうからです。信頼できる道は、同じきれいな全身参照から各ダンサーを別々に生成し、重ならないルーティンの二つの区間を使い、編集ソフトでつなぐことです。

本物のユニゾンでは、両方のダンサーに同じ画角と同じフレーズの位相が必要です。生成の前に、区間の境界を揃えてください。

ループの接点と短いソーシャル向けカット

ダンスのコンテンツはループで生きます。生成クリップの最初のフレームと最後のフレームを視覚的に近づけ、開始位置へ戻るカメラ移動を頼むと、目に見える継ぎ目なしでクリップを繰り返せます。トラックが1回の生成より長いときは、長い連続ルーティンを頼むのではなく、8カウントのフレーズごとに1本のクリップを作り、編集ソフトで組み立ててください。

長い単発のパスでは品質が落ちます。継ぎ目は、フレーズの途中より拍の上のほうがずっと隠しやすいからです。

ダンスの比重が高い転送のエンジン選択

速い複雑な足さばきと、腕のラインをくっきり保つ必要があるルーティンでは kling-3 が先頭です。商用の振り付けの大半がこれに当たります。 kling-omni は、駆動クリップとキャラクターの出典が違うとき、あるいはルーティンがセットと関わるときに向きます。ベンチ、群衆、壁での逆立ちなどがその例です。 seedance-2-5 は、単純でループする反復の動きをすばやく扱います。

wan-2-6 は、どの8カウントがよく読めるかをまだ試しているときの実験費用を低く保ちます。

カウントとフレージングを指定するダンスの指示

ダンスの指示は、構造ではなく気分を書くと失敗します。カウントとフレーズを書いてください。ヒップホップのバウンスを二つの8カウント、体重は右と左で交代、腕は低くゆるく、胴体は終始カメラ正面、という書き方です。あるいは一つの8カウントで、右へステップし、クロスし、肩のロールを二つ行い、正面を向いて着地する、と書きます。

拍に合わせた胸のポップを4カウント、足さばきなし、その場に静止、という指定も有効です。数えられるフレージングは、エンジンが照合できるものを与え、音楽に合わせて元気に踊る、という言い方よりはるかに信頼できます。さらに三つの規則が役に立ちます。足が何をしているかを、腕とは別に言うことです。片方の手足の指示だけだと、もう片方の情報が不足します。

胴体が終始カメラを向くかどうかを言うことです。踊り手は正当な理由で向きを変え、禁じなければモデルがそれを加えます。そして、駆動クリップがすでに音楽を運んでいても、望むテンポを述べることです。クリップはリズムを供給しますが、フレージングは供給しません。

拍の格子に合わせる BPM とカウントと duration

数字は生成の前に出してください。それが、作るすべてのクリップの長さを決めます。120 BPM のトラックでは、4カウントのフレーズは2秒、8カウントは4秒なので、8秒のクリップはちょうど二つの8カウントです。ループの組み立てが自明になります。フレーズ長で割り切れる duration で生成してください。8カウントに対して5秒または10秒なら、きれいな2拍の構造になります。

7秒のクリップには切る場所がありません。縦横比と duration は、指示文の中ではなくスタジオのコントロールで、その数字に合わせて設定します。駆動クリップが最終トラックと違うテンポで録られていた場合、転送は正しく、同期は間違います。直し方は、生成のあとで作り直すのではなく、生成の前に駆動クリップをトラックへ切り合わせることです。

編集ソフトで格子に合わせて端を切るのは、無料で正確です。

ダンス転送で起きる集団と二人組の失敗

一つの画面に二つの身体があると、この作業の流れは最も目に見えて壊れます。壊れ方はたいてい特定の形です。最も近づく瞬間に、二人の演者の指が入り交じります。二人の同期は、フレーム単位の正確さではなく近似なので、二つ目の8カウントまでに片方のダンサーが半拍先にいます。

両方に同じ衣装を着せると、交差のところで手足の多い一つの姿に融合します。片方の被写体がもう片方よりかなり小さいと、エンジンは両方を平均へ向けて拡大縮小します。実行できる方法は、同じ駆動クリップから各ダンサーを別々に描き、編集ソフトで合成することです。そこではモデルにずれの保持を頼むのではなく、フレーム単位のずれを自分で制御できます。

本物の集団では人数を二人か三人に保ってください。それを超えると、合成の道は節約する時間に見合いません。

サビに通常いくつの撮り直しが要るか

16カウントのサビを、一度に8カウントずつ生成すると、フレーズごとにだいたい1回か2回の試行が要ります。だからフレーズごとに2テイクか3テイクを予算に入れ、数字を驚きではなく制作計画として扱ってください。予想すべき型は、ルーティンの最初のフレーズが最も難しいということです。エンジンには続ける既成のノリがないからです。

承認した最初のフレーズを視覚の錨として再利用すると、あとのフレーズはより安定して出ます。まず wan-2-6 で低い resolution の下書きをし、どのフレーズがそもそもダンスとして読めるかを確認します。選んだキャラクターには根本的に速すぎるものをふるい落とします。それから承認したフレーズを kling-3 で制作し、編集ソフトで組み立てます。

一つのフレーズが4回の試行に抵抗するなら、サンプルを続けるのではなく、そのフレーズの駆動クリップを変えてください。問題はたいていモデルではなく、その特定の参照です。

ダンス転送と写真からのダンス映像の違い

二つは拍の格子を共有しますが、源泉は共有しません。ダンス転送には駆動クリップが必要です。トラックに合わせて動く演者の実際の映像であり、モデルはそれを写します。だから本物の振り付けを正確に再現でき、演者の身体の比例を引き継ぎ、駆動元の参照映像に対する権利が必要です。

写真から踊る道具は静止画から始まり、ノリを文章で説明したところから動きを発明し、間に演者はいません。その道は安く、参照の許諾の問題がなく、衣装と場所の制御がはるかに大きいですが、本物のルーティンではなく、もっともらしい揺れを生みます。だから振り付けそのものが重要なとき、手順の解説、競技の作品、特定のダンスに料金を払ったブランドなどでは、間違った選択です。

雰囲気には写真からのダンスを使い、動きが正しくなければならないときは転送を使ってください。

よくある質問

自分が権利を持たないダンスのルーティンを転送できますか
法的な問いと実務的な問いは別です。技術的には、どのクリップでも駆動参照になれます。法的には振り付けは保護され、認識できる商用ルーティンを提供付きのコンテンツで使うことは、参照を誰が演じたかにかかわらず権利の問題です。自分の映像、依頼した振り付け、またはパブリックドメインの素材を使い、公開の前にモデルのページの条件を確認してください。
ヒップホップやブレイクダンスでもダンス転送は使えますか
中くらいのテンポの振り付けでは、人が期待するよりよく働きます。エンジンは様式を解釈するのではなく、関節の位置を読むからです。速い足さばき、床の技、力を使う大技は難しい事例です。地面との接触と、急な方向転換に頼り、フレームごとに推定しにくいからです。クリップを短くし、三脚で撮った明確な参照を使い、踊り手が直立して見える区間を選んでください。
ダンスの参照クリップはどの長さがよいですか
切れ目がなく、画面から身体が切れていない振り付けの8秒から10秒が適所です。より長いクリップはずれを増やし、クリップの内部のカットは姿勢の推定を壊します。ルーティンが長い場合は、自分で8カウントのフレーズに切り、一度に一つのフレーズを生成してください。決まらなかった区間を安くやり直せる利点もあります。
一つのルーティンを二人のダンサーへ転送できますか
できますが、別々に生成してください。一つの生成に全身が二つあると、タイミングが混ざり、同期が失われがちです。同じルーティンの重ならない区間を使い、それぞれきれいな全身参照から各ダンサーを描き、画角と位相を同一に保ってから、編集ソフトでつないでください。単発で本物のユニゾンを狙うと、二回に分ける道よりクレジットを多く使うことが普通です。
生成したダンスを自分の曲に同期できますか
適切な手順ならできます。参照クリップのテンポをトラックの BPM に合わせ、転送されたタイミングがすでに揃うようにし、フレーズごとに生成し、編集ソフトでカット点を拍に合わせてください。テンポが揺れるライブ収録に振り付けを合わせるのはより難しくなります。生成されたルーティンは一定のテンポを保つのに、録音のほうは揺れるからです。

関連ジェネレーター

関連モデル

ツール