Le Premier Modèle Astronomique Multimodal, AION-1, a Été Développé Avec Succès ! Des Chercheurs De L’université De Californie À Berkeley Et D’autres Institutions Ont Réussi À Construire Un Cadre D’intelligence Artificielle Astronomique Multimodal Généralisable, Basé Sur Un Pré-entraînement Sur 200 Millions De Cibles astronomiques.

Les modèles fondamentaux basés sur l'architecture Transformer ont profondément transformé des domaines tels que le traitement automatique du langage naturel et la vision par ordinateur, faisant passer la technologie d'un paradigme personnalisé « un modèle pour une tâche » à une nouvelle ère de généralisation. Cependant, lorsqu'ils sont appliqués à la recherche scientifique, ces modèles se heurtent à des difficultés majeures. Les données d'observation scientifique proviennent de sources diverses, présentent des formats variés et contiennent souvent divers bruits d'observation, ce qui engendre une hétérogénéité complexe significative.Cette réalité place l'analyse des données scientifiques face à un dilemme :Si un seul type de données est traité, il est difficile d'en exploiter pleinement le potentiel ; si l'on s'appuie sur un schéma de fusion intermodale conçu manuellement, il est difficile de s'adapter avec souplesse à divers scénarios d'observation.

Parmi les nombreux domaines scientifiques, l'astronomie offre un terrain d'expérimentation idéal pour de tels modèles. Ses vastes quantités de données d'observation accessibles au public fournissent une matière première abondante pour l'apprentissage des modèles ; par ailleurs, ses méthodes d'observation sont extrêmement diversifiées, couvrant un large éventail d'approches telles que l'imagerie des galaxies, la spectroscopie stellaire et l'astrophotométrie. Ce format de données multidimensionnel répond naturellement aux besoins du développement de technologies multimodales.

En effet, certaines études ont tenté de construire des modèles multimodaux d'astronomie, mais ces tentatives présentent encore des limites évidentes : la plupart se concentrent sur des phénomènes uniques tels que les explosions de supernova et s'appuient sur des « objectifs contrastifs » comme technologie de base, ce qui rend difficile pour les modèles de gérer avec souplesse des combinaisons arbitraires de modes et de saisir des informations scientifiques clés entre les modes autres que de simples corrélations superficielles.

Pour surmonter cet obstacle, des équipes provenant de plus de dix institutions de recherche du monde entier, dont l'Université de Californie à Berkeley, l'Université de Cambridge et l'Université d'Oxford, ont collaboré à ce projet.AION-1 (Astronomical Omni-modal Network), la première famille de modèles multimodaux fondamentaux à grande échelle pour l'astronomie, a été lancée.En intégrant et en modélisant des informations observationnelles hétérogènes telles que des images, des spectres et des données de catalogue d'étoiles via un réseau dorsal de fusion précoce unifié, il fonctionne non seulement bien dans les scénarios sans exemple, mais sa précision de détection linéaire est également comparable à celle des modèles spécifiquement entraînés pour des tâches spécifiques.

Les résultats de recherche associés, intitulés « AION-1 : Modèle fondamental omnimodal pour les sciences astronomiques », ont été inclus dans NeurIPS 2025.

Points saillants de la recherche :

* Proposer la famille de modèles AION-1, une série de modèles scientifiques fondamentaux multimodaux basés sur des jetons avec des échelles de paramètres allant de 300 millions à 3,1 milliards, spécifiquement conçus pour traiter des données d'observation astronomique très hétérogènes et prenant en charge des combinaisons modales arbitraires.

* Une méthode de tokenisation personnalisée a été développée, capable de transformer des données astronomiques provenant de sources diverses et de formats différents en une représentation unifiée, construisant un corpus de données unique et cohérent, surmontant efficacement les problèmes courants des données scientifiques tels que l'hétérogénéité, le bruit des instruments et les différences entre les sources.

AION-1 excelle dans un large éventail de tâches scientifiques. Même avec une simple exploration directe, ses performances atteignent des niveaux de pointe, surpassant largement les méthodes de référence supervisées dans des contextes de faible quantité de données. Cette caractéristique permet aux chercheurs en aval de l'utiliser directement et efficacement, sans réglage fin complexe.

* AION-1 fournit un paradigme de modélisation multimodale réalisable pour l'astronomie et d'autres domaines scientifiques en abordant systématiquement des défis fondamentaux tels que l'hétérogénéité des données, le bruit et la diversité des instruments.

Adresse du document :
https://openreview.net/forum?id=6gJ2ZykQ5W
Suivez notre compte WeChat officiel et répondez « AION-1 » en arrière-plan pour obtenir le PDF complet.

Autres articles sur les frontières de l'IA :
https://hyper.ai/papers

Éléments clés du pré-entraînement d'AION-1 : ensemble de données MMU et schéma de tokenisation pour les données astronomiques multitypes

Le pré-entraînement d'AION-1 est basé sur l'ensemble de données Multimodal Universe (MMU).Comme le montre la figure ci-dessous, il s'agit d'une collection de données astronomiques accessibles au public, conçue spécifiquement pour les tâches d'apprentissage automatique, intégrant diverses informations d'observation provenant de cinq grands projets d'observation du ciel.

Plus précisément, cela inclut : les images de galaxies fournies par la Supernova Camera (HSC) et le Legacy Imaging Survey ; les spectres à haute résolution et les informations de distance correspondantes des objets célestes provenant du Dark Energy Spectroradiometer (DESI) et du Sloan Digital Sky Survey (SDSS) ; et les spectres à basse résolution enregistrés par le satellite Gaia, qui comprend également des données photométriques et de position de haute précision des étoiles de la Voie lactée.

Pour parvenir à un traitement unifié de ces données multi-sources et multi-formats, AION-1 propose un schéma de tokenisation universel.Ce système permet de convertir des données astronomiques sous différentes formes, telles que des images, des spectres et des données numériques, en une représentation unifiée que le modèle peut reconnaître et traiter.Cette méthode répond efficacement au principal défi que représentent la diversité des sources de données astronomiques et leurs formats variés. Le processus de tokenisation utilise un convertisseur dédié pour chaque type de données, ce qui lui permet de s'adapter aux données issues de différents instruments, d'assurer l'alignement sémantique des données similaires et d'éviter l'entraînement répété du modèle pour un même type de données provenant de sources différentes.

Pour les données d'imagerie multibandePour pallier les différences de résolution, de nombre de canaux, de couverture spectrale et de niveau de bruit entre les images de galaxies, le tokenizer d'images utilise une architecture d'intégration de canaux flexible. Cette architecture s'adapte aux entrées présentant un nombre de canaux variable et intègre des informations telles que l'origine du télescope dans la représentation. Son réseau principal repose sur une structure ResNet améliorée, couplée à une technique de quantification à valeurs finies, permettant à un seul modèle de traiter uniformément les données d'images issues de plusieurs chaînes d'observation. Lors de l'entraînement, le modèle utilise une méthode d'évaluation de la perte qui prend en compte les pondérations du bruit, exploitant pleinement les informations de bruit connues issues du processus d'imagerie pour améliorer la qualité de la reconstruction.

Pour les données spectralesLes différences de puissance du signal, de gamme de longueurs d'onde et de résolution entre les différents instruments sont prises en compte par leur standardisation et leur projection sur une grille de longueurs d'onde commune, permettant ainsi le traitement conjoint des spectres multi-instruments et multi-cibles. Ce tokenizer, basé sur l'architecture du réseau ConvNeXt V2, utilise une technique de quantification ne nécessitant aucun codage prédéfini et une fonction de perte de bruit pondérée pour fusionner les caractéristiques de bruit des différents relevés du ciel.

Dans le traitement des données tabulaires/scalaires,AION-1 abandonne les méthodes de représentation continue traditionnelles, difficiles à adapter aux grands ensembles de données, et adopte une stratégie de discrétisation par morceaux basée sur les statistiques de distribution des données. Cette méthode uniformise la distribution numérique et minimise les erreurs de transformation dans les régions où l'information est concentrée.

Outre les images photométriques standard, le modèle intègre un tokenizer dédié aux données de champs numériques spatialement distribuées, telles que les cartes de segmentation et les cartes de propriétés. Il convient aux images normalisées dont les valeurs sont comprises entre 0 et 1, repose sur un réseau de neurones convolutif, utilise une technique de quantification similaire à celle employée dans les tokenizers d'images et est entraîné à l'aide d'images de galaxies en niveaux de gris et de leurs cartes de segmentation correspondantes.

Pour les données de boîtes englobantes elliptiques utilisées pour le positionnement céleste,Chaque cible est décrite par cinq paramètres : ses coordonnées de position, la forme de son ellipse et sa taille. La tokenisation consiste à associer les coordonnées au pixel le plus proche et à quantifier les attributs de l’ellipse. Pour gérer les cas où le nombre de cibles dans l’image est variable, toutes les cibles détectées sont converties en une séquence et triées selon leur distance au centre de l’image, formant ainsi une structure de représentation unifiée et standardisée.

AION-1 : Un modèle fondamental multimodal pour les sciences astronomiques

L'architecture d'AION-1 s'inspire des idées des modèles multimodaux de fusion précoce grand public actuels, et adopte plus précisément le schéma de modélisation masquée multimodale évolutif proposé par le modèle 4M (un cadre d'entraînement d'IA multimodal développé par Apple et l'EPFL).Son idée centrale est :Après avoir converti tous les types de données en une représentation unifiée par jetons, une partie du contenu est masquée aléatoirement, puis le modèle apprend à reconstituer la portion masquée. De cette manière, le modèle peut découvrir automatiquement les relations inhérentes entre différentes formes de données, telles que des images, des spectres et des données numériques.

Spécifiquement,Chaque échantillon d'entraînement contient M types différents de séquences de données.Lors de l'entraînement, le modèle sélectionne aléatoirement deux parties : l'une servant d'information d'entrée et l'autre de cible à reconstruire. Cette sélection aléatoire, effectuée au sein de l'ensemble des données, permet au modèle de saisir les caractéristiques de chaque type de données et de comprendre la correspondance entre les différents types.

Sur le plan de la mise en œuvre technique, comme le montre la figure ci-dessous,L'AION-1 utilise une architecture encodeur-décodeur Transformer conçue spécifiquement pour le multitâche.Outre les encodeurs et décodeurs standard, son innovation réside dans la conception de mécanismes d'intégration uniques pour chaque type de données. Pour chaque type de données, le modèle est doté d'une fonction de transformation dédiée, de paramètres d'identification de type apprenables et de paramètres de position.

Il convient de noter que le modèle attribue un identifiant unique à chaque combinaison de type de données et de source de données. Même au sein d'un même jeu de données d'images, des sources différentes provenant de dispositifs d'observation distincts généreront des identifiants différents. Cette conception permet au modèle d'identifier les caractéristiques des sources de données, qui contiennent souvent implicitement des attributs importants tels que la qualité et la résolution des données.

L'efficacité de l'apprentissage d'un modèle dépend largement du choix judicieux des données à masquer. Des recherches ont montré que la méthode d'échantillonnage utilisée dans le modèle 4M original était peu performante avec des données de longueur variable, générant facilement un grand nombre d'échantillons d'apprentissage invalides. Par conséquent,AION-1 propose une stratégie de simplification plus efficace :Lors de la détermination du contenu d'entrée, une limite supérieure totale est d'abord définie. Ensuite, un type de données est sélectionné aléatoirement, et une partie de son contenu est extraite. Le contenu restant est complété à partir d'autres types de données. Pour déterminer le contenu cible à reconstruire, une méthode d'échantillonnage privilégiant les petites échelles est utilisée afin de calculer le nombre de types de données nécessaires. Cette méthode réduit le coût de calcul par échantillon d'entraînement tout en garantissant la cohérence entre le processus d'entraînement et les scénarios d'utilisation réels.

Afin d'évaluer de manière exhaustive les performances du modèle, l'équipe de recherche a entraîné trois versions différentes d'AION-1 :Version de base (300 millions de paramètres), version large (800 millions de paramètres) et version très large (3 milliards de paramètres).L'optimiseur AdamW a été utilisé lors de l'entraînement, avec des paramètres d'apprentissage appropriés, pour un total de 205 000 itérations. Le taux d'apprentissage a été ajusté selon une stratégie consistant à l'augmenter initialement, puis à le diminuer. Comme illustré dans la figure ci-dessous, cette étude démontre l'impact de la taille du modèle et de l'intégration des données satellitaires Gaia sur ses performances, fournissant ainsi une référence pour la sélection ultérieure de modèles.

Après une formation complète, AION-1 dispose de nombreuses fonctions de génération pratiques, prenant en charge des tâches allant de la complétion de données à la transformation de données entre appareils. Son principal atout réside dans sa capacité à comprendre les relations globales entre tous les types de données, permettant ainsi la génération d'autres types d'échantillons de données aux propriétés physiques cohérentes, même à partir de données d'observation partielles.

Résultats expérimentaux : La précision du décalage vers le rouge a été améliorée d’un facteur 16, ce qui représente une avancée significative dans les performances de l’IA astronomique multimodale.

L'innovation majeure d'AION-1 réside dans sa capacité à générer directement des représentations générales dotées d'une signification physique claire et indépendantes du type de données, sans recourir à des processus de supervision complexes conçus pour des tâches spécifiques. Grâce à ce mécanisme, le modèle excelle dans deux scénarios clés : la génération intermodale et l'estimation de la distribution a posteriori scalaire.

En termes de génération intermodale,AION-1 permet la génération conditionnelle de données de haute dimension, facilitant ainsi la conversion de données entre appareils et l'amélioration de la qualité des observations. L'application la plus représentative est la génération de spectres DESI haute résolution à partir de données Gaia basse résolution : comme illustré ci-dessous, malgré une densité de données 50 à 100 fois supérieure dans les premières, le modèle parvient à reconstruire avec précision les centres, les largeurs et les amplitudes des raies spectrales. Cette avancée rend possible la réalisation d'analyses astronomiques détaillées à partir de données basse résolution largement disponibles.Ceci revêt une grande importance pour réduire les coûts de la recherche et améliorer l'utilisation des données.

Concernant l'estimation des paramètres,AION-1 peut déduire directement la distribution des valeurs des scalaires quantifiés. Prenons l'exemple de l'estimation du décalage vers le rouge : comme illustré dans la figure ci-dessous, les résultats pour des galaxies typiques, sous trois conditions de contenu informationnel croissant, sont les suivants : la distribution est relativement dispersée lorsque seules des données photométriques de base sont utilisées ; elle converge significativement après l'ajout d'imagerie multibande ; et la précision de l'estimation est considérablement améliorée après l'introduction de spectres à haute résolution, ce qui indique que le modèle peut intégrer efficacement des informations provenant de sources multiples afin d'optimiser les résultats de l'estimation.

Pour vérifier les capacités du modèle,L'équipe de recherche a également mené des expériences dans quatre directions :

* Estimation des propriétés physiques

  Pour des paramètres tels que la masse stellaire et la température de surface, dont le calcul nécessite généralement des observations à haute résolution, cette étude explore l'utilisation d'AION-1 pour les estimer directement à partir de données à basse résolution. Des tests menés sur 120 000 échantillons de galaxies montrent que ce modèle surpasse ou égale les modèles supervisés dédiés ; sur 240 000 échantillons stellaires, il surpasse même des modèles de référence spécialement optimisés pour la tâche de « prédiction de paramètres à haute résolution à partir de données à basse résolution de Gaia ».

* Apprentissage sémantique basé sur des annotations d'experts (Apprentissage à partir d'étiquettes sémantiques humaines) 

Dans la tâche de classification morphologique des galaxies (8 000 échantillons étiquetés), la précision d'AION-1 surpasse non seulement celle des modèles dédiés entraînés à partir de zéro, mais rivalise également avec celle des modèles de pointe entraînés avec des dizaines de fois plus de données étiquetées. Dans la tâche de segmentation sémantique de la structure des galaxies (2 800 échantillons), ses résultats sont très cohérents avec les données étiquetées manuellement et ses performances dépassent celles des modèles de référence entièrement convolutionnels simples.

* Performances en régime de données limitées 

Pour pallier le problème courant de la rareté des annotations dans la recherche astronomique, des expériences montrent qu'AION-1 présente un avantage plus significatif lorsque les données sont limitées, et que ses performances peuvent égaler, voire surpasser, les modèles supervisés qui nécessitent un ordre de grandeur de données d'entraînement en plus.

* Recherche basée sur la similarité 

Face aux défis posés par les objets célestes rares tels que les lentilles gravitationnelles fortes (représentant environ 0,11 TP3T) et un manque d'annotations suffisantes, AION-1 démontre des performances supérieures dans trois catégories de cibles — galaxies spirales, galaxies en fusion et candidats de lentilles gravitationnelles fortes — grâce à la récupération de similarité spatiale, surpassant d'autres modèles auto-supervisés avancés dans les résultats de récupération.

Ces résultats expérimentaux démontrent collectivement qu'AION-1 fournit une solution unifiée et efficace pour l'analyse de données astronomiques multimodales, présentant notamment des avantages significatifs dans les scénarios avec des données rares et une inférence intermodale.

L'IA multimodale au service de la recherche astronomique : une avancée collaborative majeure entre le monde universitaire et l'industrie.

Ces dernières années, la « recherche astronomique multimodale pilotée par l'IA » est devenue un sujet d'intérêt majeur pour les communautés académiques et industrielles du monde entier, et une série de réalisations révolutionnaires sont en train de remodeler le traitement et l'application des données astronomiques.

Dans le milieu universitaire, les chercheurs s'attachent à intégrer étroitement les capacités de fusion multimodale à des problèmes astronomiques spécifiques. Par exemple, le plan d'exploration spatiale annoncé par le MIT Media Lab en 2025…En combinant l'IA multimodale avec la technologie de réalité étendue, un système d'analyse intelligent pour les missions de résidence lunaire a été développé.Ce système peut intégrer des informations provenant de sources multiples telles que des images de télédétection par satellite, des relevés de capteurs environnementaux et l'état de fonctionnement des équipements afin de fournir une aide à la décision en temps réel pour la gestion des ressources et l'alerte aux risques dans une base lunaire simulée.

Parallèlement, une équipe de recherche de l'Université d'Oxford et d'autres institutions a développé un outil de sélection basé sur l'apprentissage profond qui peut identifier avec précision les signaux valides provenant d'explosions de supernova parmi des milliers d'alertes de données, réduisant ainsi la quantité de données que les astronomes doivent traiter d'environ 851 TP3T.Cet assistant de recherche virtuel ne nécessite que 15 000 exemples d’entraînement et la puissance de calcul d’un ordinateur portable classique pour effectuer la formation.Le processus de vérification manuelle de routine a été transformé en un flux de travail automatisé. Le modèle final a conservé une précision élevée tout en maintenant le taux de fausses alarmes à environ 11 TP3T, améliorant ainsi considérablement l’efficacité de la recherche.
Titre de l'article :L'assistant de recherche virtuel ATLAS
Lien vers l'article :https://iopscience.iop.org/article/10.3847/1538-4357/adf2a1

L'industrie encourage le déploiement pratique de l'IA multimodale dans le domaine de l'astronomie par le biais de sa commercialisation.En 2024, NVIDIA s'est associée à l'Observatoire européen austral (ESO) pour intégrer sa technologie d'optimisation de l'inférence IA dans le flux de travail de traitement des données spectrales du Very Large Telescope.En tirant parti de TensorRT pour accélérer les modèles de fusion multimodaux, l'efficacité de la classification spectrale des galaxies lointaines a été améliorée jusqu'à trois fois.

En 2025, IBM a poursuivi sa collaboration avec l'ESO afin d'optimiser le système de planification du VLT (Virtual Lightning Observation) grâce à une intelligence artificielle multimodale. En intégrant diverses informations telles que les prévisions météorologiques, les variations de luminosité céleste et la charge des équipements, le système peut ajuster dynamiquement les plans d'observation.Cela augmente le taux de réussite de la capture de cibles temporelles telles que les étoiles variables par 30%.

De plus, Google DeepMind a collaboré avec LIGO et GSSI pour proposer une méthode de contrôle appelée « mise en forme en boucle profonde » afin d'améliorer la précision de contrôle des détecteurs d'ondes gravitationnelles. Ce contrôleur a été validé sur un système LIGO réel, et ses performances réelles concordent parfaitement avec les résultats de simulation. Par rapport au système d'origine,Cette nouvelle technologie améliore les capacités de contrôle du bruit de 30 à 100 fois.Et pour la première fois, il a complètement éliminé la source de bruit de boucle de rétroaction la plus instable et la plus difficile à supprimer du système.
Titre de l'article :Amélioration de la portée cosmologique d'un observatoire d'ondes gravitationnelles grâce à la mise en forme de boucles profondes
Adresse du document :https://www.science.org/doi/10.1126/science.adw1291

Il est évident que la construction de représentations générales multimodales est devenue une tendance majeure à l'intersection de l'astronomie et de l'intelligence artificielle. Le monde académique perfectionne sans cesse cette technologie en explorant des questions scientifiques fondamentales, tandis que l'industrie met à profit son expertise en ingénierie pour favoriser son déploiement et son application à grande échelle. Cette avancée collaborative lève progressivement les contraintes traditionnelles liées au coût élevé des observations et à la complexité du traitement des données en recherche astronomique, permettant ainsi à un plus grand nombre de chercheurs d'explorer les mystères les plus profonds de l'univers grâce à l'intelligence artificielle.

Liens de référence :

1.https://www.media.mit.edu/groups/space-exploration/updates/

2.https://www.eso.org/public/news/eso2408/

3.https://www.eso.org/public/news/eso2502/