다중 레이블 이미지 인식을 위한 의미 특화 그래프 표현 학습

이미지의 다중 라벨 인식은 실용적이면서도 도전적인 작업이며, 의미론적 영역 탐색과 라벨 의존성 모델링을 통해 상당한 진전이 이루어졌습니다. 그러나 현재 방법들은 부분 수준 감독이나 의미론적 안내가 부족하여 의미론적 영역을 정확히 위치시키지 못합니다. 또한, 이들 방법은 의미론적 영역 간의 상호 작용을 완전히 탐구하지 못하며, 라벨 동시 발생을 명시적으로 모델링하지 않습니다. 이러한 문제를 해결하기 위해, 우리는 두 가지 핵심 모듈로 구성된 Semantic-Specific Graph Representation Learning (SSGRL) 프레임워크를 제안합니다: 1) 카테고리 의미론을 통합하여 의미론적 표현 학습을 안내하는 의미론 분리 모듈과 2) 통계적 라벨 동시 발생에 기반한 그래프를 구축하고 그래프 전파 메커니즘을 통해 이들의 상호 작용을 탐구하는 의미론 상호 작용 모듈입니다. 공개 벤치마크에서 수행한 광범위한 실험 결과, 우리의 SSGRL 프레임워크는 PASCAL VOC 2007 & 2012, Microsoft-COCO 및 Visual Genome 벤치마크에서 각각 mAP(mean Average Precision)가 2.5%, 2.6%, 6.7%, 3.1% 향상되는 등 현존하는 최신 방법들을 크게 능가함을 보여주었습니다. 우리의 코드와 모델은 https://github.com/HCPLab-SYSU/SSGRL에서 확인할 수 있습니다.