2달 전

자기 감독 학습을 사용하면 모델의 강건성과 불확실성을 개선할 수 있습니다.

Dan Hendrycks; Mantas Mazeika; Saurav Kadavath; Dawn Song
자기 감독 학습을 사용하면 모델의 강건성과 불확실성을 개선할 수 있습니다.
초록

자기 감독은 라벨이 필요하지 않으면서 하류 작업에 효과적인 표현을 제공합니다. 그러나 기존 접근 방식은 완전히 지도된 학습에 비해 뒤떨어지며, 주로 주석의 필요성을 없애거나 줄이는 것 이상의 이점이 없다고 여겨져 왔습니다. 우리는 자기 감독이 적대적 예제, 라벨 오염, 일반 입력 오염 등 다양한 방식으로 견고성을 향상시킬 수 있다는 것을 발견했습니다. 또한, 자기 감독은 분포 밖 검출에서 특히 어렵고 분포 근처의 이상치를 처리하는 데 크게 도움이 되어 완전히 지도된 방법보다 성능이 우수함을 확인했습니다. 이러한 결과는 자기 감독이 견고성과 불확실성 추정을 개선하는 데 큰 잠재력을 가지고 있으며, 향후 자기 감독 학습 연구에서 이러한 작업들을 새로운 평가 축으로 설정할 것을 시사합니다.

자기 감독 학습을 사용하면 모델의 강건성과 불확실성을 개선할 수 있습니다. | 최신 연구 논문 | HyperAI초신경