Command Palette
Search for a command to run...
Mohamed Bouadi Pratinav Seth Aditya Tanna Vinay Kumar Sankarapu

초록
실제 응용 분야에서 표형 데이터(탭류 데이터)는 여전히 주된 형식을 차지하고 있다. 그러나 이종적인 특성 유형과 다중 스케일에서 발생하는 복잡한 상호작용으로 인해 표형 데이터를 위한 효과적인 신경망 모델을 개발하는 것은 여전히 도전 과제이다. 최근 표형 데이터의 인-컨텍스트 학습(ICL, in-context learning) 기술인 TabPFN과 TabICL 등이, 작업별 미세조정 없이도 그래디언트 부스팅 트리(GBTs) 수준의 최신 성능을 달성하며 주목받고 있다. 그러나 기존 아키텍처는 몇 가지 핵심적인 한계를 지니고 있다. 첫째, 계층적 종속성을 간과하는 단일 스케일 특성 처리 방식이며, 둘째, 테이블의 폭에 따라 제곱 비율로 증가하는 밀집형 어텐션 구조이며, 셋째, 순차적으로만 구성 요소를 처리하는 방식으로 반복적인 표현 개선과 구성 요소 간의 상호 통신을 제한한다. 이러한 문제를 해결하기 위해, 우리는 세 가지 핵심 혁신을 갖춘 표형 ICL 아키텍처인 Orion-MSP를 제안한다. 첫째, 계층적 특성 상호작용을 포착하기 위한 다중 스케일 처리 기법이며, 둘째, 윈도우형, 전역형, 무작위형 패턴을 결합한 블록-스퍼스 어텐션을 통해 확장성과 장거리 연결성을 동시에 확보한 효율적인 구조이며, 셋째, 퍼세이버(Perceiver) 스타일의 메모리 구조를 도입하여 구성 요소 간에 안전한 양방향 정보 흐름을 가능하게 한다. 다양한 벤치마크에서 Orion-MSP는 기존 최고 수준의 성능을 달성하거나 초과하며, 고차원 테이블에 대한 확장성도 우수하게 유지한다. 이는 효율적인 표형 인-컨텍스트 학습의 새로운 기준을 제시한다. 모델은 공개적으로 제공되며, GitHub에서 확인할 수 있다. https://github.com/Lexsi-Labs/Orion-MSP