Command Palette

Search for a command to run...

4달 전

단일 컬러 이미지로부터 물체에 가려진 인간의 형태 및 자세 추정

{ Yangang Wang Buzhen Huang Tianshu Zhang}

단일 컬러 이미지로부터 물체에 가려진 인간의 형태 및 자세 추정

초록

사람과 물체 사이의 가림 현상, 특히 사람-물체 상호작용 활동에서는 이러한 현상이 실용적 응용에서 매우 흔하다. 그러나 기존의 3D 사람의 형태와 자세 추정 방법 대부분은 사람의 몸체가 완전히 촬영되거나 미세한 자기 가림만 존재하는 조건을 전제로 한다. 본 논문에서는 단일 컬러 이미지에서 물체에 의해 가려진 사람의 형태와 자세를 직접 추정하는 문제에 초점을 맞춘다. 우리의 핵심 아이디어는 물체에 의해 가려진 사람의 몸체를 부분적인 UV 매핑(UV map)으로 표현하고, 최종적으로 전체 3D 사람 형태 추정 문제를 이미지 보정(image inpainting) 문제로 변환하는 것이다. 이를 위해 잠재 특징(latent feature) 감독을 통해 엔드 투 엔드 회귀기(end-to-end regressor)를 훈련할 수 있는 새로운 이중 분기(dual-branch) 네트워크 아키텍처를 제안하며, 물체에 의해 가려진 컬러 이미지에서 사람 정보를 추출하기 위한 새로운 색채 강조도 지도(saliency map sub-net)도 포함한다. 네트워크 훈련을 위한 보조 지도를 제공하기 위해, 새로운 데이터셋인 3DOH50K를 구축하였다. 제안된 방법의 유효성을 입증하기 위해 여러 실험을 수행하였으며, 실험 결과는 기존 방법들과 비교하여 최신 기술 수준(state-of-the-art)의 성능을 달성함을 보여준다. 관련 데이터셋 및 코드는 https://www.yangangwang.com 에 공개되어 있다.

벤치마크

벤치마크방법론지표
3d-human-pose-estimation-on-3doh50kOOH
Average PA-MPJPE (mm): 58.5

AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 공동 코딩, 즉시 사용 가능한 환경, 최적 가격 GPU로 AI 개발을 가속화하세요.

AI 공동 코딩
즉시 사용 가능한 GPU
최적 가격
시작하기

Hyper Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
단일 컬러 이미지로부터 물체에 가려진 인간의 형태 및 자세 추정 | 연구 논문 | HyperAI초신경