초록
우리는 신경망 모델이 결정 트리와 같은 조각별 상수 함수를 구현할 수 있음을 보여준다. 제안하는 아키텍처인 국소 상수 네트워크(Lo-cally Constant Networks)는 조각별 선형인 ReLU 네트워크에 기반하며, 이는 입력에 대한 기울기가 국소적으로 상수임을 의미한다. 본 연구에서는 국소 상수 네트워크와 결정 트리 간의 동치성을 엄밀히 증명한다. 또한 국소 상수 네트워크가 가지치기 및 리프 노드 간 파라미터 공유를 가능하게 하는 여러 장점을 강조한다. 실제로, $M$개의 뉴런만으로도 $2^M$개의 리프 노드를 가진 기울기 결정 트리(Oblique Decision Tree)를 암묵적으로 모델링할 수 있다. 신경망 표현은 깊은 신경망에서 개발된 다양한 도구(예: DropConnect (Wan 등, 2013))를 사용할 수 있게 하여, 암묵적으로 결정 트리를 학습할 수 있도록 한다. 실험을 통해 제안한 방법이 분자 성질 분류 및 회귀 과제에서 기울기 결정 트리를 학습하는 기존 기법들을 초월함을 입증하였다.