2달 전

적응 후방 학습: 놀람 기반 메모리 모듈을 이용한 소수 샘플 학습

Tiago Ramalho; Marta Garnelo
적응 후방 학습: 놀람 기반 메모리 모듈을 이용한 소수 샘플 학습
초록

적은 관측치로부터 빠르게 일반화하는 능력은 지능형 시스템에 있어 필수적입니다. 본 논문에서는 APL이라는 알고리즘을 소개합니다. 이 알고리즘은 가장 놀라운 관측치를 기억함으로써 확률 분포를 근사합니다. 이러한 과거의 관측치들은 외부 메모리 모듈에서 회상되며, 디코더 네트워크가 이를 처리하여 서로 다른 메모리 슬롯에서 정보를 결합하여 직접적인 회상 이상의 일반화를 수행할 수 있습니다. 우리는 이 알고리즘이 적은 메모리 용량으로 소수 샷 분류 벤치마크에서 최신 기술 기준과 동등한 성능을 보일 수 있음을 보여줍니다. 또한, 그 메모리 압축 덕분에 수천 개의 미지 라벨까지 확장할 수 있음을 확인하였습니다. 마지막으로, 직접 분류보다 더 어려운 메타-러닝 추론 작업을 소개합니다. 이 환경에서 APL은 각 클래스당 하나 미만의 예제로도 연역적 추론을 통해 일반화할 수 있음을 입증하였습니다.