2달 전

자기 감독 분류 네트워크

Elad Amrani; Leonid Karlinsky; Alex Bronstein
자기 감독 분류 네트워크
초록

우리는 새로운 자기 지도형 엔드투엔드 분류 학습 접근 방식인 Self-Classifier를 제시합니다. Self-Classifier는 동일한 샘플의 두 개의 증강된 뷰에 대한 동일 클래스 예측을 최적화함으로써 단계적인 엔드투엔드 방식으로 라벨과 표현을 동시에 학습합니다. 비퇴화 해(即,所有标签都被分配到同一类别的解)를 보장하기 위해 우리는 예측된 라벨에 균일한 사전 확률을 적용하는 교차 엔트로피 손실의 수학적으로 유도된 변형을 제안합니다(Non-degenerate solutions, i.e., solutions where all labels are not assigned to the same class). 이론적 분석에서 우리는 우리의 접근 방식의 최적 해 집합에는 비퇴화 해가 포함되지 않음을 증명하였습니다. Self-Classifier는 구현이 간단하고 확장성이 우수합니다. 다른 인기 있는 비지도 분류 및 대조적 표현 학습 접근 방식과 달리, 어떤 형태의 사전 학습, 기대값 최대화, 가상 라벨링, 외부 클러스터링, 두 번째 네트워크, 그래디언트 중단 연산 또는 음성 쌍(negative pairs)도 필요하지 않습니다. 이러한 간단함에도 불구하고, 우리의 접근 방식은 ImageNet의 비지도 분류에서 새로운 최고 성능을 달성하였으며, 비지도 표현 학습에서도 최고 수준의 결과와 비교할 만한 성능을 보여주었습니다. 코드는 https://github.com/elad-amrani/self-classifier에서 확인할 수 있습니다.注:在括号中标注了原文的部分术语以确保信息完整。例如,“非退化解”和“음성 쌍 (negative pairs)”等。

자기 감독 분류 네트워크 | 최신 연구 논문 | HyperAI초신경