Command Palette

Search for a command to run...

19일 전

오리온-MSP: 표형 인컨텍스트 학습을 위한 다중 스케일 희소 어텐션

Mohamed Bouadi Pratinav Seth Aditya Tanna Vinay Kumar Sankarapu

오리온-MSP: 표형 인컨텍스트 학습을 위한 다중 스케일 희소 어텐션

초록

실제 응용 분야에서 표형 데이터(탭류 데이터)는 여전히 주된 형식을 차지하고 있다. 그러나 이종적인 특성 유형과 다중 스케일에서 발생하는 복잡한 상호작용으로 인해 표형 데이터를 위한 효과적인 신경망 모델을 개발하는 것은 여전히 도전 과제이다. 최근 표형 데이터의 인-컨텍스트 학습(ICL, in-context learning) 기술인 TabPFN과 TabICL 등이, 작업별 미세조정 없이도 그래디언트 부스팅 트리(GBTs) 수준의 최신 성능을 달성하며 주목받고 있다. 그러나 기존 아키텍처는 몇 가지 핵심적인 한계를 지니고 있다. 첫째, 계층적 종속성을 간과하는 단일 스케일 특성 처리 방식이며, 둘째, 테이블의 폭에 따라 제곱 비율로 증가하는 밀집형 어텐션 구조이며, 셋째, 순차적으로만 구성 요소를 처리하는 방식으로 반복적인 표현 개선과 구성 요소 간의 상호 통신을 제한한다. 이러한 문제를 해결하기 위해, 우리는 세 가지 핵심 혁신을 갖춘 표형 ICL 아키텍처인 Orion-MSP를 제안한다. 첫째, 계층적 특성 상호작용을 포착하기 위한 다중 스케일 처리 기법이며, 둘째, 윈도우형, 전역형, 무작위형 패턴을 결합한 블록-스퍼스 어텐션을 통해 확장성과 장거리 연결성을 동시에 확보한 효율적인 구조이며, 셋째, 퍼세이버(Perceiver) 스타일의 메모리 구조를 도입하여 구성 요소 간에 안전한 양방향 정보 흐름을 가능하게 한다. 다양한 벤치마크에서 Orion-MSP는 기존 최고 수준의 성능을 달성하거나 초과하며, 고차원 테이블에 대한 확장성도 우수하게 유지한다. 이는 효율적인 표형 인-컨텍스트 학습의 새로운 기준을 제시한다. 모델은 공개적으로 제공되며, GitHub에서 확인할 수 있다. https://github.com/Lexsi-Labs/Orion-MSP

AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 공동 코딩, 즉시 사용 가능한 환경, 최적 가격 GPU로 AI 개발을 가속화하세요.

AI 공동 코딩
즉시 사용 가능한 GPU
최적 가격
시작하기

Hyper Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
오리온-MSP: 표형 인컨텍스트 학습을 위한 다중 스케일 희소 어텐션 | 연구 논문 | HyperAI초신경