초록
대조 학습은 자기 감독 시각적 표현 학습에서 주요 접근 방식이 되었지만, 앵커와 매우 유사한 샘플인 어려운 부정 예제(hard negatives)를 효율적으로 활용하는 것은 여전히 도전적인 문제입니다. 우리는 SynCo (대조 학습에서의 합성 부정 예제)라는 새로운 접근 방식을 소개합니다. 이 방법은 표현 공간에서 합성 어려운 부정 예제를 생성하여 모델 성능을 향상시킵니다. MoCo 프레임워크를 기반으로 하여, SynCo는 최소한의 계산 비용으로 다양한 합성 어려운 부정 예제를 실시간으로 생성하기 위한 여섯 가지 전략을 제안합니다. SynCo는 더 빠른 훈련과 강력한 표현 학습을 달성하며, ImageNet ILSVRC-2012 선형 평가에서 MoCo-v2보다 +0.4%, MoCHI보다 +1.0% 높은 성능을 보여줍니다. 또한, SynCo는 탐지 작업에 더 효과적으로 전이되어 PASCAL VOC 탐지 (57.2% AP)에서 우수한 결과를 얻으며, COCO 탐지 (+1.0% AP)와 인스턴스 분할 (+0.8% AP)에서도 MoCo-v2에 비해 크게 개선되었습니다. 우리의 합성 어려운 부정 예제 생성 방법은 자기 감독 대조 학습을 통해 배운 시각적 표현을 크게 향상시키는 것으로 나타났습니다.