DLME: 딥 로컬-플랫니스 매니폴드 임베딩

다양체 학습(manifold learning, ML)은 고차원 데이터로부터 저차원 임베딩을 탐색하는 것을 목표로 한다. 그러나 현실 세계의 데이터셋, 특히 부족한 샘플을 가진 경우에서 이 문제는 도전적이다. 우리는 기존의 방법들이 이러한 상황에서 성능이 떨어진다는 점을 발견하였다. 일반적으로 ML 방법은 입력 데이터를 저차원 임베딩 공간으로 변환하여 데이터의 기하학적 구조를 유지한 후, 이후 작업을 해당 공간에서 수행한다. 그러나 첫 번째 단계에서 부족한 샘플링 데이터의 국소적 연결성이 낮고, 두 번째 단계에서 적절하지 않은 최적화 목적함수가 존재함으로써 두 가지 문제—구조 왜곡(structural distortion)과 과도하게 자유도가 높은 임베딩(underconstrained embedding)—이 발생한다. 본 논문에서는 이러한 문제를 해결하기 위해 새로운 ML 프레임워크인 ‘딥 로컬 평탄성 다양체 임베딩(Deep Local-flatness Manifold Embedding, DLME)’을 제안한다. 제안된 DLME는 데이터 증강을 통해 의미론적 다양체를 구축하며, 다양체에 대한 국소 평탄성 가정(local flatness assumption)을 기반으로 한 부드러움 제약(smoothness constraint)을 활용하여 구조 왜곡 문제를 해결한다. 또한 과도하게 자유도가 높은 임베딩 문제를 해결하기 위해 새로운 손실 함수를 설계하였으며, 이 손실 함수가 국소 평탄성 기반으로 더 적합한 임베딩을 유도함을 이론적으로 입증하였다. 다양한 하류 작업(분류, 군집, 시각화)을 위한 세 가지 유형의 데이터셋(조작 데이터, 생물학적 데이터, 이미지 데이터)에 대한 실험 결과, 제안하는 DLME가 최신의 ML 및 대조 학습(contrastive learning) 방법들을 모두 능가함을 보였다.