초록
지상 상황 인식은 주어진 이미지에서 주요 활동, 해당 활동 내에서 특정 역할을 수행하는 개체들, 그리고 이러한 개체들의 바운딩 박스 지상화를 예측하는 작업입니다. 이 도전적인 과제를 효과적으로 해결하기 위해, 우리는 활동 분류와 개체 추정의 두 과정이 상호작용하고 보완적인 새로운 접근 방식을 제안합니다. 이 아이디어를 구현하기 위해, 우리는 두 모듈로 구성된 협업적 일람-주시 변환기(Collaborative Glance-Gaze TransFormer, CoFormer)를 제안합니다: 활동 분류를 위한 일람 변환기(Glance transformer)와 개체 추정을 위한 주시 변환기(Gaze transformer). 일람 변환기는 주시 변환기가 개체들과 그 관계를 분석함으로써 도움을 받아 주요 활동을 예측하며, 주시 변환기는 일람 변환기에 의해 예측된 활동과 관련된 개체들에만 집중하여 지상화된 개체들을 추정합니다. 우리의 CoFormer는 SWiG 데이터셋에서 모든 평가 지표에서 최고 수준의 성능을 달성하였습니다. 학습 코드와 모델 가중치는 https://github.com/jhcho99/CoFormer에서 제공됩니다.