다중 레이블 이미지 분류를 위한 의미 인지 이중 대조 학습

자연 이미지에서 다수의 객체 또는 속성에 대해 이미지의 의미 정보를 효과적으로 추출하고 해당하는 레이블을 부여하는 것은 복잡한 장면 구성과 혼란스러운 레이블 간 의존성으로 인해 어려운 과제이다. 최근 연구들은 그래프를 활용한 레이블 관계 모델링과 클래스 활성화 맵(Class Activation Map, CAM)을 통한 객체 영역 이해에 초점을 맞추고 있다. 그러나 이러한 방법들은 특정 의미 특징 간의 복잡한 내부 및 상호 카테고리 관계를 무시하며, CAM은 노이즈가 많은 정보를 생성하기 쉬운 문제가 있다. 이를 해결하기 위해 본 연구에서는 샘플 간 대조 학습(Sample-to-Sample Contrastive Learning, SSCL)과 프로토타입 간 대조 학습(Prototype-to-Sample Contrastive Learning, PSCL)을 통합한 새로운 의미 인지형 이중 대조 학습 프레임워크를 제안한다. 구체적으로, 카테고리 관련 지역적 구분 특징을 추출하고 카테고리 프로토타입을 구성하기 위해 의미 인지형 표현 학습을 활용한다. 이후 SSCL 기반으로 동일 카테고리의 레이블 수준 시각 표현을 집계하고, 서로 다른 카테고리에 속한 특징들은 분리한다. 동시에, 긍정 샘플과 카테고리 프로토타입 간의 거리를 좁히고, 부정 샘플은 해당 카테고리 프로토타입으로부터 밀어내는 새로운 PSCL 모듈을 설계한다. 최종적으로, 위 세 가지 구성 요소의 공동 학습을 통해 이미지 내용과 관련된 구분력 있는 레이블 수준 특징을 정확히 포착한다. 제안된 방법은 다섯 개의 도전적인 대규모 공개 데이터셋에서 실험을 통해 기존 최고 성능 기법들을 능가하는 효과를 입증하였다. 코드 및 보충 자료는 https://github.com/yu-gi-oh-leilei/SADCL 에 공개되어 있다.