実世界の応用において、表形式データ（タブラー形式データ）は依然として主流の形式を占めている。しかし、異種の特徴量タイプや複数スケールにわたる複雑な相互作用が存在するため、表形式データ向けの効果的なニューラルモデルの開発は依然として困難である。近年、タブラー・イン・コンテキスト学習（ICL）に関する進展、特にTabPFNやTabICLといった手法は、タスク固有の微調整を必要とせずに勾配ブースティング木（GBTs）と同等の最先端性能を達成している。しかしながら、現行のアーキテクチャには以下の主要な制約が存在する：（1）階層的な依存関係を無視する単一スケールの特徴処理、（2）テーブル幅に二次的にスケーリングする密なアテンション、（3）逐次的にしかコンポーネントを処理しない構造により、反復的な表現の最適化やコンポーネント間の双方向的通信が制限される。これらの課題に対処するため、本研究ではOrion-MSPを提案する。これは、以下の3つの主要な革新を特徴とする表形式ICLアーキテクチャである：（1）階層的な特徴相互作用を捉えるためのマルチスケール処理、（2）窓型、グローバル、ランダムなパターンを統合したブロックスパースアテンションにより、スケーラビリティと長距離接続性を両立、（3）Perceiver風のメモリ構造を採用し、コンポーネント間で安全な双方向情報伝達を可能にする。多様なベンチマークにおいて、Orion-MSPは最先端の性能と同等か、それ以上を達成し、高次元のテーブルにも効果的にスケーリングする。本研究は、効率的な表形式ICLの新しい基準を確立した。モデルは公開されており、https://github.com/Lexsi-Labs/Orion-MSP にて利用可能である。