2달 전

야생 환경에서의 소수 샷 객체 검출 및 시점 추정

Yang Xiao; Vincent Lepetit; Renaud Marlet
야생 환경에서의 소수 샷 객체 검출 및 시점 추정
초록

물체 검출과 이미지에서의 시점 추정은 3D 장면 이해의 핵심 작업입니다. 최근 접근 방식들은 물체 검출과 시점 추정에 대한 매우 큰 벤치마크에서 뛰어난 결과를 달성했습니다. 그러나 샘플 수가 적은 새로운 물체 카테고리에 대해서는 성능이 여전히 뒤떨어지고 있습니다. 본 논문에서는 소수 샘플을 이용한 물체 검출(few-shot object detection)과 소수 샘플을 이용한 시점 추정(few-shot viewpoint estimation) 문제를 다룹니다. 우리는 다양한 모달에서 추출된 클래스 대표적 특징(class-representative features)으로 네트워크 예측을 안내하는 것이 두 작업 모두에 미치는 이점을 보여줍니다: 물체 검출에는 이미지 패치(image patches), 시점 추정에는 정렬된 3D 모델(aligned 3D models)을 사용합니다. 단순함에도 불구하고, 제안된 방법은 PASCAL 및 COCO 데이터셋에서의 소수 샘플을 이용한 물체 검출, 그리고 Pascal3D+와 ObjectNet3D 데이터셋에서의 소수 샘플을 이용한 시점 추정 등 다양한 데이터셋에서 기존 최신 방법들을 크게 능가하는 성능을 보여줍니다. 또한 3D 모델이 제공되지 않는 경우, 우리는 다른 클래스 간의 기하학적 유사성(geometrical similarities)과 일관된 자세 라벨링(consistent pose labelling)을 활용하여 간단한 카테고리 무관 시점 추정 방법(category-agnostic viewpoint estimation method)을 소개합니다. 이 접근 방식은 성능이 약간 저하되지만, 해당 환경에서 이전 방법들보다 더 나은 결과를 얻습니다. 마지막으로, 본 연구는 처음으로 두 가지 소수 샘플 작업(few-shot tasks)의 조합 문제를 다루며, 실제 환경에서의 시점 추정(ObjectNet3D, Pascal3D+, Pix3D)에 대한 세 가지 도전적인 벤치마크에서 매우 유망한 결과를 보여주었습니다.

야생 환경에서의 소수 샷 객체 검출 및 시점 추정 | 최신 연구 논문 | HyperAI초신경