HyperAIHyperAI

Command Palette

Search for a command to run...

OmniArch : Construction d'un modèle fondamental pour le calcul scientifique

Tianyu Chen Haoyi Zhou Ying Li Hao Wang Chonghan Gao Rongye Shi et al

Abstract

Les modèles fondamentaux ont révolutionné la modélisation du langage, mais il reste encore inexploré que cette réussite puisse être reproduite dans le domaine du calcul scientifique. Nous présentons OmniArch, le premier prototype visant à résoudre des problèmes de calcul scientifique multiscales et multiphysiques grâce à une alignement physique. Nous avons relevé les trois défis majeurs grâce à une architecture unifiée. L’étape de pré-entraînement repose sur un encodeur-décodeur de Fourier, qui atténue progressivement les désaccords entre dimensions séparées, et sur un noyau Transformer intégrant les grandeurs à travers des dynamiques temporelles. Le nouvel outil, le PDE-Aligner, permet un fin-tuning informé par les lois physiques sous des conditions flexibles. À notre connaissance, nous sommes les premiers à réaliser un pré-entraînement unifié en 1D-2D-3D sur le benchmark PDEBench, qui établit non seulement de nouveaux seuils de performance pour les équations aux dérivées partielles (PDE) en 1D, 2D et 3D, mais démontre également une adaptabilité exceptionnelle aux nouvelles physiques grâce à des approches d’apprentissage en contexte (in-context learning) et en zéro-shot (zero-shot learning). Ces résultats soutiennent à la fois des applications ingénieries réalistes et la découverte de nouvelles lois physiques.


Build AI with AI

From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.

AI Co-coding
Ready-to-use GPUs
Best Pricing

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
OmniArch : Construction d'un modèle fondamental pour le calcul scientifique | Papers | HyperAI