機能
AI モーション転送の動画生成
AI のモーション転送は、一つの動画の動きを別のソースのキャラクターへ適用します。すでに持っている演技を、撮り直さずに自分のキャラクターとして再生できます。タイミングのための駆動クリップと、外見のためのキャラクター画像を渡し、 Ofrai の動画エンジンが体をフレームごとに合わせ直します。顔より動きが重要な、振り付け、スポーツの反復、武術、商品の動きに向きます。
モーション転送が実際に移すもの
モーション転送は二つの入力の仕事です。タイミング、姿勢、速度を渡す駆動クリップと、外見を渡すキャラクター画像です。エンジンは振り付けを発明しません。駆動の演技に合わせて、キャラクターの体をフレームごとに合わせ直します。この区別はプロンプトの書き方に効きます。ショットの中でキャラクターが何をしているかを書き、どう動くべきかは書かないでください。
動きの描写は参照と競合し、指示に半分従い、クリップに半分従う体になります。
きれいに移る駆動クリップの選び方
クリップの質は、長さより重要です。テイクの大半で全身が見え、背景が単純で、被写体が強く隠れていない駆動動画を選んでください。カット、素早いパン、モーションブラーは、フレーム間の姿勢推定を壊し、成果は四肢の跳ねや足の滑りとして出ます。全身演技の固定三脚は、見栄えのする手持ちよりはるかに良く移ります。使える 10 秒は、カットを二つ含む 40 秒に勝ちます。
動かす前のキャラクター画像の準備
キャラクター画像は姿勢の問題です。足が見え、腕が胴から離れた、正面の全身枠を使います。モデルが関節を付けるきれいなシルエットを持てます。腰から上の肖像は、腰より下でモーションモデルに材料を与えず、脚を発明させます。硬い投影影のない均一な光を選び、極端な遠近を避け、中立の立ち方から始めます。
クリップを通して身元を保つ必要があるなら、体の枠と並べて、顔のきれいな第二参照を足します。
転送を信じられるものにするカメラの注記
カメラの注記は、結果が撮影に見えるか、組み立てに見えるかを決めます。ショットの大きさ、角度、動きを明示します。ミディアムの全身、目の高さ、固定三脚。駆動クリップにカメラの動きがあるなら、キャラクターはそれを継承するので、静止を期待せず、それを求めてください。レンズの言葉はキャラクター画像と一致させます。
85mm で描いた人物に 24mm の広い見た目を載せると、比率が圧縮され、途中から別人に読み始めます。
比率、 duration 、切る場所
姿勢の幾何はすでに構成されて届くので、静止画ではなく駆動クリップのアスペクト比で描画します。社会的な納品なら、最初から 9:16 が最も単純な道です。 duration は駆動のテイクに合わせます。短いクリップへのゆるやかな押しは問題ありませんが、参照が終わったあとにエンジンへ振り付けの発明を頼む場所で、品質は崩れます。
20 秒が要るなら、 8 秒の区間を二つ転送し、動きが継ぎ目を隠す編集でそのあいだを切ります。
モーション転送が滲む理由と直し方
失敗は四つです。速い方向転換での四肢の跳ね。より滑らかな移行の駆動クリップを選びます。足の滑り。キャラクターの履物が地面と合っていないので、キャラクター画像では平らで均一に照らされた床を選びます。衣装の融合。長いコート、スカート、ゆるい髪は駆動のシルエットへ引かれるので、転送の前に装いを単純にします。後半の身元のずれ。
区間の開始ごとに、元のキャラクター画像を再アップロードして固定し直します。
参照駆動の動きに使うエンジン
kling-3 は、この四つのなかで複雑な人間の関節と振り付けに最も強く、転送の大半はそれです。 kling-omni は、駆動クリップとキャラクターが別のソースから来て、エンジンが両者を突き合わせなければならないとき、または演者が小道具と関わるときに役立ちます。 seedance-2-5 は、より単純な反復の動きで速くきれいな結果を出します。
wan-2-6 は、最終描画に費用を使う前に、タイミングとフレーミングを試す費用優先の工程です。
設定を明記した三つのモーション転送プロンプト
第一は歩行のターン。キャラクター画像と駆動クリップに、「三歩歩き、止まり、 2 秒かけてカメラ左へ向き、最後の姿勢を保つ。元の顔、衣装、背景を保つ。カメラは静止。」第二は小道具のある身振り。「陶器のカップを口まで上げ、元の位置へ戻す。肘は体に近く。元の衣服と部屋はそのまま。」第三は反復。「同じ腕の円を、安定したテンポで二回。体重は腰を通して移る。
カメラの動きはない。」どの場合も動きは駆動クリップから来て、プロンプトは転送がそれで何をすべきかだけを書きます。これらは文章ではなくスタジオの制御と組んでください。すでにカメラの動きがある駆動クリップの上にカメラ指示を足すことは、二重で使えないテイクの最も多い原因です。
駆動動画とキャラクター画像、どちらが何を持つか
二つの入力の権限を分けないと、それらは争います。駆動動画が持つのは、タイミング、体の経路、体重の移動、身振りの振幅、動きのリズムです。キャラクター画像が持つのは、身元、顔、髪、衣装、体の比率、環境です。両者が重なるもの、ゼロフレームの姿勢、見かけの体形、見かけの光、がずれの出る場所です。だから最良の転送は、駆動クリップの演者がキャラクターとおおむね似たものを着ている仕事です。
両方とも仕立てのジャケット、または両方ともゆるい運動着なら、きれいに移ります。ベストと短いズボンの演者に対し、キャラクターが床までのコートだと、裾の周りが毎フレーム滲みます。正確な衣服ではなく衣装の分類を合わせ、地面が一致するよう、駆動クリップのカメラ高さをキャラクター画像のフレーミングと揃えます。
手と足が拍に着地するよう転送のタイミングを取る
駆動クリップで動作が始まる場所が、出力で始まる場所であり、それがタイミングについて持てる制御です。転送が一拍遅れるなら、プロンプトに遅延のあと、と書くのではなく、駆動クリップの頭を切ります。切り取りは正確で、プロンプトは近似です。正確な着地を含む動作では、駆動クリップの最初の半秒を比較的静止に保ちます。エンジンが、出発する曖昧でない休息姿勢を持てます。
反復では、数えられる周期で組まれた駆動クリップを選びます。二歩、一回の到達、三回の拍手。モデルは、数えられない句より、数えられた周期をはるかに忠実に再現します。結果が下の音楽から一拍ずれているなら、再生成せず、編集で二フレームの切り取りをします。動きは正しく、同期だけがずれています。動画の仕事で最も安い直しです。
テイクごとのクレジットと描画時間の見込み
転送は惜しい失敗を多く出すので、完成クリップではなくテイクごとに予算を組みます。このページに載るエンジンの一つで、 5 秒の一つの動作は、たいてい二回から四回の試行を要します。入力で転送がそもそも働くかを確かめる一回、特定の成果を直す一回か二回、ときおりきれいな最終のための四回目です。より長い駆動クリップは比例して費用が増え、ずれも増えます。
だからより長いクリップが要るときでも、 6 秒の目標は 10 秒より安いことが多いです。 10 秒版はより頻繁に再生成するからです。低い費用でタイミングとフレーミングを確かめるには wan-2-6 を使い、すでに検証したテイクだけを kling-3 または seedance-2-5 で実行します。駆動クリップが失敗し続けるなら、最も安い直しは同じクリップの四回目ではなく、別のクリップです。
ダンス転送や衣装交換との違い
三つとも二つの入力を読みますが、読むものが違い、失敗の仕方も違います。モーション転送は、拍、カウント、音楽の句を気にせず、駆動クリップの動きをキャラクターへコピーします。歩行、ターン、身振り、ストレッチ、タイミングが自分のものであるマスコットの演技に向く道具です。ダンス転送は同じ仕組みで、より厳しい契約です。
拍、カウント、句の長さがすべて音楽と揃う必要があり、トラックに合わせて切られた駆動クリップを要します。衣装交換は、自分の映像の動きを保ち、衣装だけを置き換えます。つまり転送の仕事ではなく、駆動クリップは自分の元撮影です。参照動画が音楽ならダンスのページを使います。他人が演じる映像ならこのページを使います。
自分が撮った映像に新しい衣服が欲しいなら、衣装交換のページを使います。
よくある質問
- モーション転送とモーション制御の違いは何ですか?
- モーション制御はリグです。特定の関節やカメラ経路をパラメータで駆動します。モーション転送は演技のリターゲットに近く、エンジンは駆動動画を読み、キャラクターをそのタイミング、姿勢、速度に終始合わせます。撮影した全身のダンスや格闘には転送が正しく、静止したキャラクターの周りの固定カメラ移動には、制御のほうが安く予測できます。
- 駆動クリップは顔を見せる必要がありますか?
- いいえ。駆動クリップは骨格、タイミング、速度として読まれるので、リハーサル、横からの視点、ゆるい衣服のほうが、磨かれた演技よりきれいに移ることが多いです。重要なのは、四肢が見えること、背景が単純なこと、フレームレートが安定していることです。キャラクター画像は別にして、高い品質を保ちます。
- 数秒後にキャラクターがずれるのはなぜですか?
- 身元のずれは、モデルが生成するフレームごとに被写体を再標本化するので蓄積します。キャラクター画像を常に参照として保ち、より短い区間を生成してつなぎ、各区間の開始で元の参照を再アップロードします。 15 秒以上の長い一回通しの生成は、ずれが明らかになる場所です。
- 全身写真でモーション転送はできますか?
- はい。体が完全に見える限りです。頭から足まで、腕は胴から離れ、足は見える床に接触します。腰から上の画像は、腰より下でモーションモデルに材料を与えず、脚を発明させます。肖像しかないなら、まず Image Studio で全身の静止画を生成し、その枠を転送へ渡します。
- モーション転送に最も良い Ofrai のエンジンは?
- 最も確実な人間の関節と複雑な振り付けには kling-3 、駆動クリップとキャラクターが別ソースから来るときや場面に小道具があるときは kling-omni 、より単純な動きの速くきれいな結果には seedance-2-5 、予算でタイミングを試すときは wan-2-6 です。四つすべてが同じ Ofrai のクレジットを使います。
