2달 전

MaskCon: 마스킹된 대조 학습을 이용한 코스 라벨 데이터셋의 처리

Feng, Chen ; Patras, Ioannis
MaskCon: 마스킹된 대조 학습을 이용한 코스 라벨 데이터셋의 처리
초록

최근 몇 년간 딥 러닝은 고급 신경망 구조와 대규모 인간 주석 데이터셋의 도움으로 큰 성공을 거두었습니다. 그러나, 특히 세부적인 라벨이 필요한 전문 분야에서는 대규모 데이터셋을 정확하고 효율적으로 주석화하는 것이 비용이 많이 들고 어려운 경우가 많습니다. 이러한 상황에서, 전문 지식이 필요하지 않은 거친 라벨은 훨씬 쉽게 획득할 수 있습니다. 본 연구에서는 이 문제를 해결하기 위해 마스크된 컨트라스트 학습 방법인 $\textbf{Mask}$ed $\textbf{Con}$trastive learning ($\textbf{MaskCon}$)을 제안합니다. 이는 거친 라벨로 주석화된 데이터셋을 사용하여 더 세밀한 라벨링 문제를 해결하는 문제 설정에 초점을 맞추고 있습니다.구체적으로, 컨트라스트 학습 프레임워크 내에서 각 샘플에 대해 본 방법은 다른 샘플과 해당 샘플의 다른 증강된 시각을 기반으로 거친 라벨의 도움으로 소프트 라벨을 생성합니다. 자기 감독 컨트라스트 학습에서는 오직 샘플의 증강만이 하드 포지티브로 간주되고, 감독 컨트라스트 학습에서는 동일한 거친 라벨을 가진 샘플만이 하드 포지티브로 간주되는 것과 달리, 우리는 거친 라벨에 의해 마스킹된 샘플 간 거리를 기반으로 하는 소프트 라벨을 제안합니다. 이를 통해 우리는 샘플 간 관계와 거친 라벨 모두를 활용할 수 있게 됩니다.본 연구에서는 제안한 방법이 많은 기존 최신 연구들을 특수 사례로 포함하며 일반화 오차에 대한 더 강력한 경계를 제공함을 보여줍니다. 실험 결과, 본 방법은 CIFAR10, CIFAR100, ImageNet-1K, Standford Online Products 및 Stanford Cars196 데이터셋 등 다양한 데이터셋에서 현재 최신 연구보다 유의미한 개선을 이루어냈습니다. 코드와 주석은 https://github.com/MrChenFeng/MaskCon_CVPR2023 에서 확인할 수 있습니다.

MaskCon: 마스킹된 대조 학습을 이용한 코스 라벨 데이터셋의 처리 | 최신 연구 논문 | HyperAI초신경