OmniArch: Aufbau eines Grundmodells für wissenschaftliches Rechnen

Grundmodellen haben die Sprachmodellierung revolutioniert, während unklar bleibt, ob dieser Erfolg auch in der wissenschaftlichen Berechnung reproduziert werden kann. Wir präsentieren OmniArch, den ersten Prototypen, der darauf abzielt, multi-skalare und multi-physikalische Probleme der wissenschaftlichen Berechnung mit physikalischer Konsistenz zu lösen. Mit einer einheitlichen Architektur adressieren wir alle drei zentralen Herausforderungen. Im Vortrainingsstadium integriert ein Fourier-Encoder-Decoder die Disharmonie über getrennte Dimensionen hinweg, während ein Transformer-Backbone physikalische Größen durch zeitliche Dynamik verknüpft. Der neuartige PDE-Aligner ermöglicht physikbasiertes Feintuning unter flexiblen Bedingungen. So weit wir wissen, führen wir erstmals eine einheitliche Vortrainingsphase über 1D-, 2D- und 3D-Probleme auf dem PDEBench durch und erreichen dabei nicht nur neue Leistungsbewertungsniveaus für 1D-, 2D- und 3D-PDGl (partielle Differentialgleichungen), sondern zeigen auch eine herausragende Anpassungsfähigkeit an neue physikalische Phänomene mittels In-Context- und Zero-Shot-Lernansätzen. Diese Fähigkeiten unterstützen realistische ingenieurtechnische Anwendungen und eröffnen Perspektiven für die Entdeckung neuer physikalischer Gesetzmäßigkeiten.