17일 전

PAC-Bayes 메타학습: 임시적인 작업별 사후 분포를 활용한 접근

Cuong Nguyen, Thanh-Toan Do, Gustavo Carneiro
PAC-Bayes 메타학습: 임시적인 작업별 사후 분포를 활용한 접근
초록

우리는 소수 샘플 학습(few-shot learning) 문제를 해결할 수 있는 새로운 체계적이고 엄밀하게 구성된 PAC-Bayes 메타학습 알고리즘을 제안한다. 본 연구에서 제안하는 방법은 기존의 단일 작업 환경에 적용되던 PAC-Bayes 프레임워크를 메타학습의 다수 작업 환경으로 확장함으로써, 어떠한 작업(포함하여 미리 보지 않은 작업) 및 샘플에 대해 평가된 오차에 대한 상한을 제공한다. 또한, 기존의 대각 공분산 행렬을 가진 다변량 정규분포를 가정하는 전통적인 접근 방식에 비해 보다 표현력 있게 작업별 모델 파라미터의 사후분포를 추정하기 위해 생성 기반(generative-based) 접근법을 제안한다. 제안한 메타학습 알고리즘을 통해 학습된 모델은 정밀도와 캘리브레이션 모두에서 우수한 성능을 보이며, 소수 샘플 분류(mini-ImageNet 및 tiered-ImageNet) 및 회귀(multi-modal task-distribution regression) 벤치마크에서 최신 기술 수준의 캘리브레이션 및 분류 성능을 달성한다.

PAC-Bayes 메타학습: 임시적인 작업별 사후 분포를 활용한 접근 | 최신 연구 논문 | HyperAI초신경