Transformer 기반 듀얼 관계 그래프를 이용한 다중 라벨 이미지 인식

한 이미지에서 여러 객체를 동시에 인식하는 것은 다양한 객체 크기, 일관되지 않은 외관, 그리고 혼동되기 쉬운 클래스 간 관계 등 인식 분야의 여러 이슈를 포함하여 여전히 어려운 과제입니다. 최근 연구는 주로 불분명한 의미론을 향상시키기 위해 통계적 라벨 동시 발생과 언어학적 단어 임베딩에 의존하고 있습니다. 이러한 연구들과 달리 본 논문에서는 새로운 트랜스포머 기반의 이중 관계 학습 프레임워크를 제안합니다. 이 프레임워크는 구조적 관계 그래프와 의미론적 관계 그래프라는 두 가지 상관성 측면을 탐색하여 보완적인 관계를 구축합니다.구조적 관계 그래프는 크로스 스케일 트랜스포머 기반 아키텍처를 개발하여 객체 문맥에서 장거리 상관성을 포착하는 것을 목표로 합니다. 의미론적 그래프는 명시적인 의미론적 제약 조건을 사용하여 이미지 객체의 의미론적 의미를 동적으로 모델링합니다. 또한, 학습된 구조적 관계를 의미론적 그래프에 통합하여 견고한 표현을 위한 결합 관계 그래프를 구성하였습니다.이 두 가지 효과적인 관계 그래프의 협력 학습을 통해 우리 접근 방식은 MS-COCO 및 VOC 2007 데이터셋이라는 두 개의 인기 있는 다중 라벨 인식 벤치마크에서 새로운 최신 성능(SOTA)을 달성하였습니다.