부분 라벨을 사용한 다중 라벨 인식을 위한 이질적 의미 전달

부분 라벨이 있는 다중 라벨 이미지 인식(Multi-Label Image Recognition with Partial Labels, MLR-PL)은 각 이미지에 대해 일부 라벨이 알려져 있고 다른 라벨은 알려져 있지 않은 상황에서, 주석 작업의 비용을 크게 줄일 수 있으므로 대규모 MLR을 촉진할 수 있습니다. 우리는 각 이미지 내와 다른 이미지 간에 강한 의미적 상관관계가 존재함을 발견하였으며, 이러한 상관관계는 알려진 라벨이 가진 지식을 전달하여 알려지지 않은 라벨을 검색하고, 따라서 MLR-PL 작업의 성능을 향상시키는데 도움이 될 수 있음을 확인하였습니다(그림 1 참조). 본 연구에서는 이미지 내와 이미지 간의 의미적 상관관계를 탐색하여 알려진 라벨이 가진 지식을 전달하여 알려지지 않은 라벨의 의사 라벨(pseudo labels)을 생성하는 두 개의 보완적인 전송 모듈로 구성된 새로운 이종 의미 전송(Heterogeneous Semantic Transfer, HST) 프레임워크를 제안합니다. 구체적으로, 이미지 내 의미 전송(Intra-Image Semantic Transfer, IST) 모듈은 각 이미지를 위한 이미지 특화형 라벨 동시 발생 행렬(label co-occurrence matrix)을 학습하고, 이러한 행렬들을 기반으로 알려진 라벨을 사용하여 알려지지 않은 라벨을 보완합니다. 또한, 이미지 간 전송(Cross-Image Transfer, CST) 모듈은 카테고리 특화형 특징-프로토타입 유사성(feature-prototype similarities)을 학습한 후, 해당 프로토타입과 유사도가 높은 알려지지 않은 라벨들을 보완하는데 도움을 줍니다. 마지막으로, 알려진 라벨과 생성된 의사 라벨 모두를 사용하여 MLR 모델들을 훈련시킵니다. Microsoft COCO, Visual Genome 및 Pascal VOC 2007 데이터셋에서 수행된 광범위한 실험 결과는 제안된 HST 프레임워크가 현재 최신 알고리즘들보다 우수한 성능을 달성함을 보여줍니다. 특히, 세 데이터셋에서 가장 우수한 성능을 보였던 기존 알고리즘의 결과와 비교해 평균 정밀도(mean average precision, mAP)가 각각 1.4%, 3.3%, 0.4% 개선됨을 확인하였습니다.