17일 전

단일 이미지 이벤트에서 3D 인간 자세로의 전환

Gianluca Scarpellini, Pietro Morerio, Alessio Del Bue
단일 이미지 이벤트에서 3D 인간 자세로의 전환
초록

이 논문은 단일 스트림의 비동기 이벤트를 입력으로 사용하는 새로운 3D 인간 자세 추정 방법을 제안한다. 현재 최첨단 기법들은 주로 RGB 카메라를 활용하여 이 문제를 해결하지만, 대상이 빠르게 움직일 경우 성능이 저하되는 문제가 있다. 반면, 이벤트 기반 3D 자세 추정은 이벤트 카메라의 장점을 활용할 수 있으며, 특히 높은 효율성과 외관 변화에 대한 강건성을 갖추고 있다. 그러나 정적 장면에서는 거의 또는 전혀 이벤트가 발생하지 않기 때문에, 비동기 이벤트에서 인간의 자세를 추정하는 것은 기존의 RGB 기반 자세 추정보다 일반적으로 더 도전적인 과제이다. 본 연구에서는 단일 이벤트 스트림으로부터 3D 인간 자세를 추정하는 최초의 학습 기반 방법을 제안한다. 제안하는 방법은 두 단계로 구성된다. 첫째, 이벤트 카메라 스트림을 처리하여 각 관절에 대해 서로 수직인 세 개의 히트맵을 예측한다. 각 히트맵은 해당 관절이 하나의 수직 평면에 투영된 결과이다. 둘째, 이러한 히트맵 집합을 융합하여 신체 관절의 3D 위치를 추정한다. 추가적으로, RGB Human3.6m 데이터셋에서 이벤트를 시뮬레이션하여, 이벤트 기반 인간 자세 추정을 위한 새로운 도전적인 데이터셋을 공개한다. 실험 결과, 본 방법은 우수한 정확도를 달성하며, 기존 RGB 기반 시각과 이벤트 기반 시각 간의 성능 격차를 좁히는 데 성공했다. 코드는 https://iit-pavis.github.io/lifting_events_to_3d_hpe 에서 무료로 제공된다.