부분 라벨을 사용한 다중 라벨 인식을 위한 구조화된 의미 전송

다중 라벨 이미지 인식은 실제 이미지가 본질적으로 여러 개의 의미적 라벨을 가지고 있기 때문에 기본적이면서도 실용적인 작업입니다. 그러나 입력 이미지와 출력 라벨 공간의 복잡성으로 인해 대규모 다중 라벨 주석을 수집하는 것은 어렵습니다. 이 주석 비용을 줄이기 위해, 우리는 부분 라벨(즉, 일부 라벨만 알려져 있고 다른 라벨은 누락되어 있는 경우)로 다중 라벨 인식 모델을 학습할 수 있는 구조화된 의미 전송(SST) 프레임워크를 제안합니다. 이 프레임워크는 이미지 내부와 이미지 간의 의미적 상관관계를 탐색하여 알려진 라벨의 지식을 누락된 라벨에 대한 가짜 라벨 생성에 활용하는 두 개의 보완적인 전송 모듈로 구성됩니다.특히, 이미지 내부 의미 전송 모듈은 이미지 특유의 라벨 동시 발생 행렬을 학습하고, 이 행렬을 기반으로 알려진 라벨을 사용하여 누락된 라벨을 보완합니다. 한편, 이미지 간 전송 모듈은 카테고리 특유의 특징 유사성을 학습하여 고유사성을 가진 누락된 라벨을 보완하는 역할을 합니다. 마지막으로, 알려진 라벨과 생성된 라벨 모두를 사용하여 다중 라벨 인식 모델을 학습시킵니다. Microsoft COCO, Visual Genome 및 Pascal VOC 데이터셋에서 수행한 광범위한 실험 결과, 제안된 SST 프레임워크가 현재 최신 알고리즘보다 우수한 성능을 나타냈습니다. 코드는 https://github.com/HCPLab-SYSU/HCP-MLR-PL에서 제공됩니다.