Tianyu Chen Haoyi Zhou Ying Li Hao Wang Chonghan Gao Rongye Shi et al

Résumé

Les modèles fondamentaux ont révolutionné la modélisation du langage, mais il reste encore inexploré que cette réussite puisse être reproduite dans le domaine du calcul scientifique. Nous présentons OmniArch, le premier prototype visant à résoudre des problèmes de calcul scientifique multiscales et multiphysiques grâce à une alignement physique. Nous avons relevé les trois défis majeurs grâce à une architecture unifiée. L’étape de pré-entraînement repose sur un encodeur-décodeur de Fourier, qui atténue progressivement les désaccords entre dimensions séparées, et sur un noyau Transformer intégrant les grandeurs à travers des dynamiques temporelles. Le nouvel outil, le PDE-Aligner, permet un fin-tuning informé par les lois physiques sous des conditions flexibles. À notre connaissance, nous sommes les premiers à réaliser un pré-entraînement unifié en 1D-2D-3D sur le benchmark PDEBench, qui établit non seulement de nouveaux seuils de performance pour les équations aux dérivées partielles (PDE) en 1D, 2D et 3D, mais démontre également une adaptabilité exceptionnelle aux nouvelles physiques grâce à des approches d’apprentissage en contexte (in-context learning) et en zéro-shot (zero-shot learning). Ces résultats soutiennent à la fois des applications ingénieries réalistes et la découverte de nouvelles lois physiques.