HyperAIHyperAI

Command Palette

Search for a command to run...

VOccl3D: 실제 가림 상황 하에서 3D 인체 자세 및 형상 추정을 위한 비디오 벤치마크 데이터셋

Yash Garg Saketh Bachu Arindam Dutta Rohit Lal Sarosij Bose Calvin-Khang Ta M. Salman Asif Amit Roy-Chowdhury

초록

인간 자세 및 형태(HPS, Human Pose and Shape) 추정 기법은 광범위하게 연구되어 왔으며, 많은 기법들이 실외 환경의 이미지 및 영상에서 높은 제로샷(Zero-shot) 성능을 보여주고 있다. 그러나 이러한 기법들은 복잡한 인간 자세나 심각한 가림 현상이 발생하는 도전적인 상황에서는 여전히 어려움을 겪는다. 일부 연구는 가림 상황 하에서의 3차원 인간 자세 추정에 초점을 맞추고 있으나, 대부분의 기존 데이터셋은 현실적이거나 심각한 가림을 포함하지 않아 성능 평가의 현실성에 한계가 있다. 예를 들어, 기존 데이터셋 대부분은 인간 영역에 무작위 패치를 부착하거나 클리프트 스타일의 오버레이를 사용하여 가림을 모사하는데, 이는 실제 환경에서의 도전과제를 충분히 반영하지 못한다. 이러한 현실적인 가림 데이터셋의 부족을 보완하기 위해, 본 연구에서는 3차원 신체 자세 및 형태 레이블을 갖춘 영상 기반 인간 가림 데이터셋인 VOccl3D를 제안한다. AGORA 및 BEDLAM과 같은 기존 연구들을 영감으로 삼아, 고도화된 컴퓨터 그래픽 렌더링 기술을 활용하여 다양한 현실적인 가림 상황, 의류 질감, 인간 운동을 포함하는 데이터셋을 구축하였다. 또한, 본 데이터셋을 기반으로 최신 HPS 기법인 CLIFF 및 BEDLAM-CLIFF를 미세조정(fine-tuning)하였으며, 여러 공개 데이터셋과 본 데이터셋의 테스트 분할에서 양적·질적 측면에서 유의미한 성능 향상을 입증하였다. 이를 통해 기존 최첨단 기법들과의 비교를 통해 본 데이터셋의 우수성을 확인하였다. 더불어, 기존 객체 탐지기인 YOLO11을 본 데이터셋으로 미세조정함으로써, 가림 상황 하에서의 인간 탐지 성능을 향상시켰으며, 이는 가림 상황에서도 안정적인 엔드투엔드 HPS 추정 시스템의 구현을 가능하게 하였다. 종합적으로, 본 데이터셋은 향후 가림 상황을 다루는 기법들을 평가하기 위한 유용한 자원이 되며, 기존 데이터셋에 비해 훨씬 더 현실적인 대안을 제시한다.


AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 코코딩, 즉시 사용 가능한 환경, 최적의 GPU 가격으로 AI 개발을 가속화하세요.

AI 협업 코딩
바로 사용 가능한 GPU
최적의 가격

HyperAI Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
VOccl3D: 실제 가림 상황 하에서 3D 인체 자세 및 형상 추정을 위한 비디오 벤치마크 데이터셋 | 문서 | HyperAI초신경