깊이 맵을 사용한 시각적 관계 검출 개선

시각적 관계 검출 방법은 RGB 이미지에서 추출된 객체 정보, 예를 들어 2D 바운딩 박스, 특성 맵, 그리고 예측된 클래스 확률에 의존합니다. 우리는 깊이 맵이 객체 관계에 대한 가치 있는 정보를 추가로 제공할 수 있다고 주장합니다. 예를 들어, 공간적 관계(예: 뒤에 서 있는 것)뿐만 아니라 비공간적 관계(예: 들고 있는 것)도 감지하는 데 도움을 줄 수 있습니다. 이 연구에서는 다양한 객체 특성을 사용하는 효과를 분석하며, 특히 깊이 맵에 초점을 맞추고 있습니다. 이를 가능하게 하기 위해, Visual Genome(VG)의 확장으로 새로운 합성 데이터셋인 VG-Depth를 공개합니다. 또한 VG에서 관계의 분포가 극히 불균형하다는 점을 고려하면, 시각적 관계 검출에 대한 일반적인 평가 지표는 저빈도 관계의 개선을 드러내지 못한다는 것을 지적합니다. 이 문제를 해결하기 위해, 우리는 추가적인 지표인 Macro Recall@K를 제안하고 VG에서 그 뛰어난 성능을 입증하였습니다. 마지막으로, 우리의 실험은 간단하면서도 경쟁력 있는 프레임워크 내에서 깊이 맵을 효과적으로 활용함으로써 시각적 관계 검출의 성능이 최대 8%까지 향상될 수 있음을 확인하였습니다.