2달 전

조건부로 시프트된 뉴런을 이용한 신속한 적응

Tsendsuren Munkhdalai; Xingdi Yuan; Soroush Mehri; Adam Trischler
조건부로 시프트된 뉴런을 이용한 신속한 적응
초록

우리는 인공 신경망이 빠른 적응 능력을 학습할 수 있는 메커니즘을 설명합니다. 이 능력은 새로운 작업에 적은 데이터로 즉시 적응하는 것을 의미하며, 이를 조건부로 이동된 뉴런(conditionally shifted neurons)이라고 부릅니다. 우리는 이 메커니즘을 메타러닝의 프레임워크에 적용하여 인간의 학습 유연성을 기계에서 재현하는 목표를 추구합니다. 조건부로 이동된 뉴런은 작업별로 메모리 모듈에서 검색된 특이적인 시프트 값을 사용하여 활성화 값을 수정합니다. 이 메모리 모듈은 제한된 작업 경험을 바탕으로 신속하게 채워집니다. 비전과 언어 영역에서의 메타러닝 벤치마크에서, 조건부로 이동된 뉴런이 추가된 모델들은 최신 연구 결과(state-of-the-art results)를 달성하였습니다.

조건부로 시프트된 뉴런을 이용한 신속한 적응 | 최신 연구 논문 | HyperAI초신경