기능
AI 모션 전송 영상 생성
AI 모션 전송은 한 영상의 움직임을 다른 소스의 캐릭터에 적용합니다. 이미 가진 연기를 다시 찍지 않고 자기 캐릭터로 재생할 수 있습니다. 타이밍을 위한 구동 클립과 외형을 위한 캐릭터 이미지를 넘기면, Ofrai의 영상 엔진이 몸을 프레임마다 다시 맞춥니다. 얼굴보다 움직임이 중요한 안무, 스포츠 반복, 무술, 상품 동작에 맞습니다.
모션 전송이 실제로 옮기는 것
모션 전송은 두 입력의 일입니다. 타이밍, 자세, 속도를 넘기는 구동 클립과 외형을 넘기는 캐릭터 이미지입니다. 엔진은 안무를 발명하지 않습니다. 구동 연기에 맞춰 캐릭터의 몸을 프레임마다 다시 맞춥니다. 이 구분은 프롬프트 쓰는 법에 영향을 줍니다. 샷 안에서 캐릭터가 무엇을 하는지를 쓰고, 어떻게 움직여야 하는지는 쓰지 마십시오. 움직임 묘사는 참조와 경쟁해서, 지시에는 반만 따르고 클립에는 반만 따르는 몸이 됩니다.
깨끗하게 옮겨지는 구동 클립 고르기
클립의 질은 길이보다 중요합니다. 테이크의 대부분에서 전신이 보이고, 배경이 단순하며, 피사체가 심하게 가려지지 않은 구동 영상을 고르십시오. 컷, 빠른 팬, 모션 블러는 프레임 사이의 자세 추정을 깨고, 결과는 사지가 튀거나 발이 미끄러지는 것으로 나타납니다. 전신 연기의 고정 삼각대는 보기 좋은 핸드헬드보다 훨씬 잘 옮겨집니다. 쓸 수 있는 10 초는 컷이 둘 들어 있는 40 초에 이깁니다.
움직이기 전의 캐릭터 이미지 준비
캐릭터 이미지는 자세의 문제입니다. 발이 보이고 팔이 몸통에서 떨어진, 정면의 전신 프레임을 씁니다. 모델이 관절을 붙일 깨끗한 실루엣을 가질 수 있습니다. 허리 위의 초상은 허리 아래에서 모션 모델에 재료를 주지 않고 다리를 발명하게 합니다. 단단한 투사 그림자 없는 고른 빛을 고르고, 극단적인 원근을 피하며, 중립적인 선 자세에서 시작합니다. 클립을 통해 신원을 유지해야 하면 몸 프레임과 나란히 얼굴의 깨끗한 두 번째 참조를 더합니다.
전송을 믿을 수 있게 하는 카메라 메모
카메라 메모는 결과가 촬영처럼 보이는지 조립처럼 보이는지를 결정합니다. 샷 크기, 각도, 움직임을 명시합니다. 미디엄 전신, 눈높이, 고정 삼각대. 구동 클립에 카메라 움직임이 있으면 캐릭터는 그것을 물려받으므로, 정지를 기대하지 말고 그것을 요청하십시오. 렌즈의 말은 캐릭터 이미지와 일치시킵니다. 85mm로 그린 인물에 24mm의 넓은 모습을 얹으면 비율이 압축되고, 도중에 다른 사람으로 읽히기 시작합니다.
비율, duration , 자르는 자리
자세의 기하는 이미 구성되어 도착하므로, 정지 화면이 아니라 구동 클립의 화면 비율로 그립니다. 사회적 납품이라면 처음부터 9:16이 가장 단순한 길입니다. duration은 구동 테이크에 맞춥니다. 짧은 클립으로의 완만한 밀기는 문제없지만, 참조가 끝난 뒤에 엔진에게 안무 발명을 부탁하는 자리에서 품질은 무너집니다. 20 초가 필요하면 8 초 구간을 둘 전송하고, 움직임이 이음새를 숨기는 편집에서 그 사이를 자릅니다.
모션 전송이 번지는 이유와 고치는 법
실패는 넷입니다. 빠른 방향 전환에서의 사지 튐. 더 매끄러운 이행의 구동 클립을 고릅니다. 발의 미끄러짐. 캐릭터의 신발이 지면과 맞지 않으므로, 캐릭터 이미지에서는 평평하고 고르게 비춘 바닥을 고릅니다. 의상의 융합. 긴 코트, 치마, 느슨한 머리는 구동 실루엣으로 끌리므로 전송 전에 차림을 단순하게 합니다. 후반의 신원 어긋남. 구간 시작마다 원래 캐릭터 이미지를 다시 올려서 다시 고정합니다.
참조 구동 움직임에 쓰는 엔진
kling-3는 이 넷 가운데 복잡한 인간의 관절과 안무에 가장 강하고, 전송의 대부분은 그것입니다. kling-omni는 구동 클립과 캐릭터가 다른 소스에서 와서 엔진이 둘을 맞춰야 할 때, 또는 연기자가 소품과 관계할 때 도움이 됩니다. seedance-2-5는 더 단순한 반복 움직임에서 빠르고 깨끗한 결과를 냅니다. wan-2-6은 최종 그리기에 비용을 쓰기 전에 타이밍과 프레이밍을 시험하는 비용 우선 공정입니다.
설정을 명시한 세 개의 모션 전송 프롬프트
첫째는 보행 턴입니다. 캐릭터 이미지와 구동 클립에 「세 걸음 걷고, 멈추고, 2 초에 걸쳐 카메라 왼쪽으로 돌며, 마지막 자세를 유지한다. 원래 얼굴, 의상, 배경을 유지한다. 카메라는 정지.」 둘째는 소품이 있는 몸짓입니다. 「도기 컵을 입까지 올리고 원래 위치로 되돌린다. 팔꿈치는 몸에 가깝게. 원래 옷과 방은 그대로.」 셋째는 반복입니다. 「같은 팔 원을 안정된 템포로 두 번. 체중은 허리를 통해 이동한다. 카메라 움직임은 없다.」 어느 경우든 움직임은 구동 클립에서 오고, 프롬프트는 전송이 그것으로 무엇을 해야 하는지만 씁니다. 이것들은 문장이 아니라 스튜디오 제어와 짝을 이루십시오.
이미 카메라 움직임이 있는 구동 클립 위에 카메라 지시를 더하는 일은, 이중으로 쓸 수 없는 테이크의 가장 많은 원인입니다.
구동 영상과 캐릭터 이미지, 누가 무엇을 가지는가
두 입력의 권한을 나누지 않으면 그것들은 다툽니다. 구동 영상이 가지는 것은 타이밍, 몸의 경로, 체중 이동, 몸짓의 진폭, 움직임의 리듬입니다. 캐릭터 이미지가 가지는 것은 신원, 얼굴, 머리, 의상, 몸 비율, 환경입니다. 둘이 겹치는 것, 즉 제로 프레임의 자세, 겉보기 체형, 겉보기 빛이 어긋남이 나오는 자리입니다. 그래서 최선의 전송은 구동 클립의 연기자가 캐릭터와 대체로 비슷한 것을 입고 있는 일입니다. 둘 다 재단된 재킷이거나 둘 다 느슨한 운동복이면 깨끗하게 옮겨집니다. 조끼와 짧은 바지의 연기자에 대해 캐릭터가 바닥까지 오는 코트이면 옷자락 주위가 매 프레임 번집니다.
정확한 옷이 아니라 의상 분류를 맞추고, 지면이 일치하도록 구동 클립의 카메라 높이를 캐릭터 이미지의 프레이밍과 맞춥니다.
손과 발이 박자에 닿도록 전송 타이밍을 잡기
구동 클립에서 동작이 시작하는 자리가 출력에서 시작하는 자리이며, 그것이 타이밍에 대해 가질 수 있는 제어입니다. 전송이 한 박자 늦으면 프롬프트에 지연 뒤라고 쓰지 말고 구동 클립의 머리를 자릅니다. 자르기는 정확하고 프롬프트는 근사입니다. 정확한 착지를 포함하는 동작에서는 구동 클립의 처음 반 초를 비교적 정지로 유지합니다. 엔진이 출발할 모호하지 않은 휴식 자세를 가질 수 있습니다. 반복에서는 셀 수 있는 주기로 짜인 구동 클립을 고릅니다. 두 걸음, 한 번의 도달, 세 번의 박수. 모델은 셀 수 없는 구절보다 센 주기를 훨씬 충실히 재현합니다.
결과가 아래 음악에서 한 박자 어긋나 있으면 다시 생성하지 말고 편집에서 두 프레임을 자릅니다. 움직임은 맞고 동기만 어긋나 있습니다. 영상 작업에서 가장 싼 고침입니다.
테이크마다의 크레딧과 그리기 시간 예상
전송은 아쉬운 실패를 많이 내므로 완성 클립이 아니라 테이크마다 예산을 짭니다. 이 페이지에 있는 엔진 중 하나에서 5 초의 한 동작은 대개 두 번에서 네 번의 시도를 필요로 합니다. 입력으로 전송이 애초에 작동하는지 확인하는 한 번, 특정 결과를 고치는 한두 번, 때때로 깨끗한 최종을 위한 네 번째입니다. 더 긴 구동 클립은 비례해서 비용이 늘고 어긋남도 늘어납니다. 그래서 더 긴 클립이 필요할 때도 6 초 목표는 10 초보다 싼 경우가 많습니다. 10 초 버전은 더 자주 다시 생성하기 때문입니다.
낮은 비용으로 타이밍과 프레이밍을 확인하려면 wan-2-6을 쓰고, 이미 검증한 테이크만 kling-3 또는 seedance-2-5에서 실행합니다. 구동 클립이 계속 실패하면 가장 싼 고침은 같은 클립의 네 번째가 아니라 다른 클립입니다. 검증이 끝난 짧은 테이크를 이어 붙이면 긴 한 번의 생성보다 어긋남이 적고 크레딧도 아낍니다. 실패가 반복되면 문장을 늘리기보다 가림과 카메라 흔들림을 먼저 보십시오. 발이 미끄러지면 바닥의 평탄함부터 다시 확인하십시오.
댄스 전송이나 의상 교체와의 차이
셋 모두 두 입력을 읽지만 읽는 것이 다르고 실패하는 방식도 다릅니다. 모션 전송은 박자, 카운트, 음악 구절을 신경 쓰지 않고 구동 클립의 움직임을 캐릭터로 복사합니다. 보행, 턴, 몸짓, 스트레칭, 타이밍이 자기 것인 마스코트 연기에 맞는 도구입니다. 댄스 전송은 같은 구조에 더 엄격한 계약입니다. 박자, 카운트, 구절 길이가 모두 음악과 맞아야 하고, 트랙에 맞춰 잘린 구동 클립이 필요합니다. 의상 교체는 자기 영상의 움직임을 유지하고 의상만 바꿉니다. 즉 전송 일이 아니며 구동 클립은 자기 원래 촬영입니다. 참조 영상이 음악이면 댄스 페이지를 씁니다. 다른 사람이 연기하는 영상이면 이 페이지를 씁니다.
자기가 찍은 영상에 새 옷이 필요하면 의상 교체 페이지를 씁니다.
자주 묻는 질문
- 모션 전송과 모션 제어의 차이는 무엇입니까?
- 모션 제어는 리그입니다. 특정 관절이나 카메라 경로를 매개변수로 구동합니다. 모션 전송은 연기 리타깃에 가깝고, 엔진은 구동 영상을 읽어 캐릭터를 그 타이밍, 자세, 속도에 처음부터 끝까지 맞춥니다. 촬영한 전신 댄스나 격투에는 전송이 맞고, 정지한 캐릭터 주위의 고정 카메라 이동에는 제어가 더 싸고 예측 가능합니다.
- 구동 클립은 얼굴을 보여야 합니까?
- 아닙니다. 구동 클립은 골격, 타이밍, 속도로 읽히므로 리허설, 옆에서 본 시점, 느슨한 옷이 다듬어진 연기보다 깨끗하게 옮겨지는 경우가 많습니다. 중요한 것은 사지가 보이는 것, 배경이 단순한 것, 프레임 레이트가 안정적인 것입니다. 캐릭터 이미지는 따로 두고 높은 품질을 유지합니다.
- 몇 초 뒤에 캐릭터가 어긋나는 이유는 무엇입니까?
- 신원 어긋남은 모델이 생성하는 프레임마다 피사체를 다시 표본화하므로 쌓입니다. 캐릭터 이미지를 항상 참조로 유지하고, 더 짧은 구간을 생성해서 잇고, 각 구간 시작에서 원래 참조를 다시 올립니다. 15 초 이상의 긴 한 번 통과 생성은 어긋남이 분명해지는 자리입니다.
- 전신 사진으로 모션 전송을 할 수 있습니까?
- 예. 몸이 완전히 보이는 한 그렇습니다. 머리부터 발까지, 팔은 몸통에서 떨어지고, 발은 보이는 바닥에 닿습니다. 허리 위 이미지는 허리 아래에서 모션 모델에 재료를 주지 않고 다리를 발명하게 합니다. 초상만 있으면 먼저 Image Studio에서 전신 정지 화면을 생성하고 그 프레임을 전송에 넘깁니다.
- 모션 전송에 가장 좋은 Ofrai 엔진은?
- 가장 확실한 인간의 관절과 복잡한 안무에는 kling-3 , 구동 클립과 캐릭터가 다른 소스에서 올 때나 장면에 소품이 있을 때는 kling-omni , 더 단순한 움직임의 빠르고 깨끗한 결과에는 seedance-2-5 , 예산으로 타이밍을 시험할 때는 wan-2-6입니다. 넷 모두가 같은 Ofrai 크레딧을 씁니다.
