HyperAI超神经

요약

대조 학습은 데이터 클래스 간에 공통적인 속성과 한 데이터 클래스를 다른 데이터 클래스와 구별하는 속성을 학습하기 위해 샘플을 서로 대조하는 원리를 사용하여 시각 작업의 성능을 향상시키는 기술입니다.

인간이 주변 세계에 대해 학습하는 방식을 모방한 이 학습 모델은 딥 러닝 분야에서 유망한 결과를 보여주었으며, 컴퓨터 비전 연구 분야에서 점점 더 중요해지고 있습니다.

대조 학습이란 무엇인가?

대조 학습은 레이블이 지정되지 않은 데이터 포인트를 서로 대조하여 모델에 어떤 포인트가 유사하고 어떤 포인트가 다른지 알려주는 머신 러닝 패러다임입니다.

즉, 이름에서 알 수 있듯이 샘플은 서로 대조되고, 동일한 분포에 속하는 샘플은 임베딩 공간에서 서로를 향해 밀려납니다. 대신, 서로 다른 분포에 속하는 사람들은 서로 경쟁합니다.

대조 학습의 중요성

지도 학습은 많은 수의 레이블이 지정된 예제를 사용하여 모델을 학습하는 머신 러닝 기술입니다. 지도 학습 모델의 성공에는 데이터 레이블의 품질이 매우 중요합니다.

그러나 이렇게 고품질의 레이블이 지정된 데이터를 얻는 것은 지루한 작업이며, 특히 생체의학 영상과 같은 분야에서는 전문 의사가 데이터에 주석을 달아야 하기 때문입니다. 이는 비용과 시간이 많이 소요됩니다. 지도 학습 ML 프로젝트 80%의 시간이 모델 학습을 위한 데이터 수집 및 정리에 투자되었습니다.

따라서 최근 딥러닝 연구는 모델 학습에서 감독 요구 사항을 줄이는 데 초점을 맞추고 있습니다. 이를 위해 반지도 학습, 비지도 학습, 자기지도 학습 등 여러 가지 방법이 제안되었습니다.

반지도 학습에서는 소량의 레이블이 지정된 데이터와 대량의 레이블이 지정되지 않은 데이터를 사용하여 딥 모델을 학습시킵니다. 비지도 학습에서 모델은 데이터 레이블 없이 비정형 데이터를 이해하려고 시도합니다.

자기 지도 학습(SSL)은 약간 다른 접근 방식을 취합니다.

비지도 학습과 마찬가지로, 구조화되지 않은 데이터가 모델에 입력으로 제공됩니다. 그러나 모델은 스스로 데이터에 주석을 달고, 높은 신뢰도로 예측된 레이블은 향후 모델 학습 반복에서 기준 진실로 사용됩니다.

이를 통해 더 나은 예측을 위해 모델 가중치가 지속적으로 향상됩니다. SSL 방법의 효율성은 기존의 지도 학습 방법에 비해 여러 컴퓨터 비전 연구자들의 관심을 끌었습니다.

SSL에서 사용되는 가장 오래되고 가장 인기 있는 기술 중 하나는 대조 학습으로, 딥 러닝 모델을 안내하기 위해 "긍정적" 및 "부정적" 예를 사용합니다.

대조 학습은 그 이후로 더욱 발전되어 현재는 완전 지도 학습과 반지도 학습 환경 모두에서 사용되고 있으며, 기존 최첨단 기술의 성능을 향상시킵니다.

대조 학습을 위한 프레임워크

최근 문헌에서는 딥 러닝과 컴퓨터 비전 연구자들이 제안한 대조 학습 프레임워크의 세 가지 인기 있는 작동 메커니즘이 있습니다.

1. 심CLR

Google Brain에서 개발한 SimCLR 모델은 시각적 표현의 대조 학습을 위한 프레임워크입니다. SimCLR은 대조 학습을 통해 자기 지도 학습과 반지도 학습 문제를 해결하기 위해 제안되었습니다.

기본적인 작동 원리는 잠재 공간에서 대조 손실을 활용해 동일한 샘플의 서로 다른 강화된 버전 간의 일관성을 극대화하는 것입니다.

2. NNCLR

대부분의 인스턴스 구별 대조 학습 알고리즘은 인코더가 동일한 인스턴스의 사전 정의된 변환에 대해 불변하도록 훈련합니다.

대부분의 방법은 동일한 이미지의 다른 관점을 대조 손실에 대한 양의 값으로 간주하는 반면, 이 논문에서 개발한 최근접 이웃 대조 학습(NNCLR) 프레임워크는 데이터 세트의 다른 인스턴스의 양의 값, 즉 데이터 세트의 다른 이미지를 사용하려고 시도합니다. 같은 이미지를 강화하는 것보다는 같은 계층을 강조하는 것이 더 좋습니다.

3. PCL

프로토타입 대조 학습(PCL)은 대조 학습과 클러스터링을 결합한 비지도 표현 학습 방법입니다. PCL은 인스턴스 구별 작업을 위해 저수준 기능을 학습하고, 클러스터링을 통해 발견된 의미 구조를 학습된 임베딩 공간에 인코딩합니다.

참고문헌

【1】https://www.v7labs.com/blog/contrastive-learning-guide#ten-contrastive-learning-frameworks