Les données tabulaires restent le format dominant pour les applications du monde réel. Pourtant, le développement de modèles neuronaux efficaces pour ces données demeure un défi, en raison de la diversité des types de caractéristiques et des interactions complexes s’opérant à plusieurs échelles. Les avancées récentes en apprentissage in-context pour les données tabulaires (ICL), telles que TabPFN et TabICL, ont atteint des performances de pointe comparables à celles des arbres à gradient boosté (GBTs), sans nécessiter de fine-tuning spécifique à la tâche. Toutefois, les architectures actuelles présentent des limites clés : (1) un traitement des caractéristiques à échelle unique, qui ignore les dépendances hiérarchiques ; (2) une attention dense à croissance quadratique en fonction de la largeur du tableau ; (3) un traitement strictement séquentiel des composants, empêchant une amélioration itérative des représentations et une communication inter-composants. Pour surmonter ces défis, nous introduisons Orion-MSP, une architecture d’ICL pour données tabulaires fondée sur trois innovations majeures : (1) un traitement multi-échelle permettant de capturer les interactions hiérarchiques entre caractéristiques ; (2) une attention par blocs creuse combinant des motifs fenêtrés, globaux et aléatoires, offrant une efficacité évolutive et une connectivité à longue portée ; (3) une mémoire inspirée du Perceiver, permettant un flux d’information bidirectionnel sûr entre les composants. Sur diverses benchmarks, Orion-MSP atteint ou dépasse les performances de l’état de l’art tout en s’échelonnant efficacement sur des tableaux à haute dimension, établissant ainsi une nouvelle référence pour l’apprentissage in-context efficace des données tabulaires. Le modèle est disponible publiquement à l’adresse suivante : https://github.com/Lexsi-Labs/Orion-MSP.