인체 운동을 이용한 장면 합성

다양하고 복잡한 장면에서 대규모로 인간의 움직임을 캡처하는 것은 매우 유용하지만, 종종 비용이 지나치게 많이 든다고 여겨집니다. 한편, 인간의 움직임은 그들이 존재하고 상호작용하는 장면에 대한 풍부한 정보를 포함하고 있습니다. 예를 들어, 앉아 있는 사람은 의자의 존재를 시사하며, 그들의 다리 위치는 더욱이 의자의 자세를 암시합니다. 본 논문에서는 인간의 움직임을 기반으로 다양하고 의미론적으로 합리적이며 물리적으로 타당한 장면을 합성하는 방법을 제안합니다. 우리의 프레임워크인 Scene Synthesis from HUMan MotiON (SUMMON)은 두 단계로 구성됩니다. 먼저, 새로 도입된 접촉 예측기인 ContactFormer를 사용하여 시간적으로 일관된 접촉 라벨을 인간의 움직임에서 얻습니다. 이 예측 결과를 바탕으로 SUMMON은 상호 작용하는 객체들을 선택하고 물리적 타당성을 최적화하기 위한 손실 함수(loss)를 최소화합니다. 또한, 인간과 상호 작용하지 않는 객체들로 장면을 채웁니다. 실험 결과는 SUMMON이 가능한 범위 내에서 타당하고 다양한 장면을 합성할 수 있으며, 커뮤니티가 활용할 수 있는 광범위한 인간-장면 상호작용 데이터 생성 잠재력을 가지고 있음을 보여줍니다.