表格数据仍是现实应用中的主要数据格式。然而，由于特征类型异质性强，且在多尺度上存在复杂的交互关系，构建高效的表格数据神经模型仍面临挑战。近年来，表格数据的上下文学习（In-Context Learning, ICL）技术取得显著进展，例如 TabPFN 和 TabICL 等方法在无需针对特定任务进行微调的情况下，已达到与梯度提升树（Gradient-Boosted Trees, GBTs）相当的最先进性能。然而，现有架构仍存在若干关键局限：（1）仅支持单尺度特征处理，难以捕捉层次化依赖关系；（2）采用密集注意力机制，其计算复杂度随表格宽度呈二次增长，难以扩展；（3）严格采用顺序处理组件的方式，限制了表示的迭代优化以及组件间的交叉信息交互。为应对上述挑战，我们提出 Orion-MSP，一种新型的表格 ICL 架构，包含三项核心创新：（1）多尺度处理机制，能够有效捕捉特征间的层次化交互；（2）块稀疏注意力机制，融合窗口化、全局与随机模式，兼顾高效可扩展性与长程连接能力；（3）基于 Perceiver 风格的记忆结构，支持组件间安全的双向信息流动。在多个多样化基准测试中，Orion-MSP 在保持高效扩展性的同时，性能达到或超越现有最先进水平，尤其在高维表格数据上表现优异，为高效表格上下文学习树立了新标准。该模型已开源，代码地址为：https://github.com/Lexsi-Labs/Orion-MSP。