Hopular: 테이블 형 데이터를 위한 현대식 호필드 네트워크

딥러닝은 이미지 및 자연어 처리에서처럼 구조화된 데이터 처리에서는 뛰어난 성능을 보이지만, 표형 데이터(tabular data)에서는 기대에 못 미치는 성능을 보여왔다. 표형 데이터의 경우, 서포트 벡터 머신(SVM), 랜덤 포레스트(Random Forests), 그래디언트 부스팅(Gradient Boosting)이 가장 뛰어난 성능을 보이며, 특히 그래디언트 부스팅이 선두를 달리고 있다. 최근에는 표형 데이터에 특화된 딥러닝 기법들이 등장했지만, 소규모 데이터셋에서는 여전히 그래디언트 부스팅에 비해 성능이 떨어지고 있다. 본 연구에서는 중소규모 데이터셋을 위한 새로운 딥러닝 아키텍처인 '호퍼룰(Hopular)'을 제안한다. 호퍼룰은 각 레이어에 연속형 현대 훼플드 네트워크(continuous modern Hopfield networks)를 탑재한 구조를 갖추고 있으며, 저장된 데이터를 활용해 특징-특징, 특징-타겟, 샘플-샘플 간의 종속성을 탐지한다. 호퍼룰의 핵심적인 특징은, 각 레이어가 훼플드 네트워크에 저장된 데이터를 통해 원본 입력과 전체 학습 데이터셋에 직접 접근할 수 있다는 점이다. 이를 통해 호퍼룰은 표준 반복 학습 알고리즘과 유사하게, 각 레이어에서 현재 모델과 예측 결과를 단계적으로 업데이트할 수 있다. 1,000개 미만의 샘플을 가진 소규모 표형 데이터셋에 대한 실험에서, 호퍼룰은 그래디언트 부스팅, 랜덤 포레스트, SVM 및 여러 딥러닝 기법을 모두 능가하는 성능을 보였다. 또한 약 10,000개의 샘플을 가진 중규모 표형 데이터셋에 대한 실험에서는, XGBoost, CatBoost, LightGBM 및 최신 표형 데이터용 딥러닝 기법을 모두 상회하는 성능을 기록했다. 따라서 호퍼룰은 표형 데이터 처리에 있어 기존의 주요 기법들에 대한 강력한 대안이 될 수 있다.