스토캐스틱 어텐션을 갖춘 신경 프로세스: 컨텍스트 데이터셋에 더 많은 주의를 기울이기

신경 과정(Neural Processes, NPs)은 주어진 컨텍스트 데이터셋을 기반으로 미관측 데이터 포인트를 확률적으로 완성하는 것을 목표로 한다. NPs는 본질적으로 주어진 데이터셋을 컨텍스트 표현으로 활용하여 새로운 작업에 적합한 식별자(identification)를 도출한다. 예측 정확도를 향상시키기 위해, 많은 NPs의 변종들이 순열 불변성(permutation invariance)을 만족하는 새로운 네트워크 아키텍처와 집계 함수를 설계하는 컨텍스트 임베딩 접근법을 탐구해왔다. 본 연구에서는 NPs가 적절한 컨텍스트 정보를 포착할 수 있도록 확률적 어텐션 메커니즘을 제안한다. 정보 이론적 관점에서 제안된 방법이 컨텍스트 임베딩이 타겟 데이터셋과 구분되도록 유도함을 보여주며, 이는 NPs가 타겟 데이터셋 내의 특징과 컨텍스트 임베딩을 독립적으로 고려할 수 있도록 한다. 제안된 방법이 노이즈가 많은 데이터셋이나 제한된 작업 분포 하에서도 기존의 전형적인 NPs가 컨텍스트 임베딩 부족으로 인해 어려움을 겪는 상황에서도 적절한 컨텍스트 임베딩을 효과적으로 포착함을 관찰하였다. 실증적으로 제안된 방법은 1차원 회귀, 포식자-피식자 모델, 이미지 완성 등 다양한 영역에서 기존 NPs보다 상당히 우수한 성능을 보여주었다. 또한, 실제 문제인 MovieLens-10k 데이터셋을 활용한 실험을 통해 제안된 방법의 타당성도 검증되었다.