初のマルチモーダル天文モデル「AION-1」の開発に成功しました！カリフォルニア大学バークレー校などの研究者らが、2億個の天文ターゲットを用いた事前学習に基づき、汎用性の高いマルチモーダル天文AIフレームワークの構築に成功しました。

Transformerアーキテクチャに基づく基礎モデルは、自然言語処理やコンピュータービジョンなどの分野に大きな変化をもたらし、「1つのタスクに1つのモデル」というカスタマイズされたパラダイムから、新たな一般化の段階へと技術を推し進めました。しかし、これらのモデルが科学研究の分野に導入されると、大きな課題に直面します。科学観測データは多様なソースから得られ、フォーマットも様々で、多くの場合、様々な観測ノイズが含まれているため、データに顕著な「複雑な異質性」が生じます。この現実は科学的データ分析をジレンマに陥れます。1 種類のデータのみを処理する場合、そのデータの潜在的な価値を十分に探求することは困難です。また、手動で設計されたクロスモーダル融合スキームに依存する場合、多様な観測シナリオに柔軟に適応することは困難です。

多くの科学分野の中でも、天文学はこうしたモデルにとって理想的な実験場を提供します。公開されている膨大な観測データは、モデルの学習に十分な「栄養」を提供します。同時に、その観測手法は極めて多様で、銀河画像、恒星分光法、天体測光法など、様々なアプローチを網羅しています。この多次元データ形式は、マルチモーダル技術開発のニーズに自然に合致しています。

実際、いくつかの研究では天文学のマルチモーダルモデルの構築が試みられていますが、これらの試みには依然として明らかな限界があります。ほとんどの研究は超新星爆発などの単一の現象に焦点を当てており、中核技術として「対照的な目的」に依存しているため、モデルが任意のモードの組み合わせに柔軟に対応したり、浅い相関関係以外のモード間の重要な科学情報を捉えたりすることが困難になっています。

このボトルネックを克服するために、カリフォルニア大学バークレー校、ケンブリッジ大学、オックスフォード大学など、世界中の 10 を超える研究機関のチームがこのプロジェクトに協力しました。天文学における初の大規模マルチモーダル基礎モデルファミリーである AION-1 (Astronomical Omni-modal Network) が立ち上げられました。統合された初期核融合バックボーン ネットワークを通じて、画像、スペクトル、星カタログ データなどの異種の観測情報を統合およびモデル化することで、ゼロ ショットのシナリオで優れたパフォーマンスを発揮するだけでなく、線形検出の精度も特定のタスク向けに特別にトレーニングされたモデルに匹敵します。

「AION-1: 天文学科学のためのオムニモーダル基礎モデル」と題された関連研究成果は、NeurIPS 2025 に掲載されています。

研究のハイライト:

* 3 億から 31 億のパラメータスケールを持つトークンベースのマルチモーダル科学的基礎モデルのシリーズである AION-1 モデル ファミリを提案します。これは、非常に異質な天文観測データを処理し、任意のモーダルの組み合わせをサポートするように特別に設計されています。

* 多様なソースや異なる形式の天文データを統一された表現に変換し、単一の一貫性のあるデータコーパスを構築して、異質性、機器のノイズ、ソースの違いなど、科学データに共通する問題を効果的に克服できるカスタマイズされたトークン化方法が開発されました。

* AION-1は、幅広い科学的タスクにおいて非常に優れたパフォーマンスを発揮します。単純なフォワードプロービングでさえ、そのパフォーマンスは最先端（SOTA）レベルに達し、データ量が少ないシナリオでは教師ありベースラインを大幅に上回ります。この特性により、下流の研究者は複雑な微調整を行うことなく、AION-1を直接かつ効率的に使用できます。

* AION-1 は、データの異質性、ノイズ、機器の多様性などの中核的な課題に体系的に対処することで、天文学やその他の科学分野に実現可能なマルチモーダル モデリング パラダイムを提供します。

用紙のアドレス:
https://openreview.net/forum?id=6gJ2ZykQ5W
弊社の公式 WeChat アカウントをフォローし、バックグラウンドで「AION-1」と返信すると、完全な PDF を入手できます。

AIフロンティアに関するその他の論文:
https://hyper.ai/papers

AION-1 事前学習の礎: 多種多様な天文データのためのMMUデータセットとトークン化スキーム

AION-1 の事前トレーニングは、Multimodal Universe (MMU) データセットに基づいています。下の図に示すように、これは 5 つの主要な天文調査プロジェクトからの多様な観測情報を統合し、機械学習タスク用に特別に構築された、公開されている天文データのコレクションです。

具体的には、超新星カメラ (HSC) とレガシー・イメージング・サーベイによって提供される銀河の画像、暗黒エネルギー分光放射計 (DESI) とスローン・デジタル・スカイ・サーベイ (SDSS) による天体の高解像度スペクトルと対応する距離情報、そして天の川銀河の星の高精度な測光データと位置データも含むガイア衛星によって記録された低解像度スペクトルが含まれます。

これらのマルチソース、マルチフォーマットのデータの統一された処理を実現するために、AION-1 はユニバーサル トークン化スキームを提案します。この方式は、画像、スペクトル、数値データなど、さまざまな形式の天文データを、モデルが認識して処理できる統一された表現に変換できます。これにより、多様な天文データソースと多様なフォーマットという根本的な課題に効果的に対処できます。トークン化プロセスでは、データタイプごとに専用のコンバーターを採用することで、異なる機器からの出力データへの適応を可能にし、類似データの意味的な整合性を確保し、異なるソースからの同一タイプのデータに対するモデルトレーニングの繰り返しを回避します。

マルチバンド画像データの場合銀河画像間の解像度、チャンネル数、波長範囲、ノイズレベルの違いに対応するため、画像トークナイザーは柔軟なチャンネル埋め込み設計を採用しています。この設計は、チャンネル数の異なる入力に適応し、望遠鏡の原点などの情報を表現に組み込みます。コアネットワークは、改良されたResNet構造と有限値量子化技術を組み合わせることで、単一のモデルで複数の観測パイプラインからの画像データを均一に処理できます。トレーニング中、モデルはノイズ重みを考慮した損失評価手法を用いて、画像化プロセスから得られる既知のノイズ情報を最大限に活用し、再構成品質を向上させます。

スペクトルデータの場合異なる観測機器間の信号強度、波長範囲、解像度の違いは、共通の波長グリッドに標準化してマッピングすることで解決されます。これにより、複数の観測機器および複数のターゲットのスペクトルを共同処理することが可能になります。ConvNeXt V2ネットワーク構造に基づくこのトークナイザーは、事前定義されたエンコードを必要としない量子化技術を採用し、さらに重み付けノイズ損失関数を用いて、異なる天空観測のノイズ特性を融合します。

表形式/スカラーデータの処理では、AION-1は、大きな数値範囲への適応が困難な従来の連続表現手法を放棄し、データ分布統計に基づく区分離散化戦略を採用しています。この手法により、数値分布がより均一になり、情報が集中している領域における変換誤差が最小限に抑えられます。

このモデルは、標準的な測光画像に加えて、セグメンテーションマップやプロパティマップといった空間的に分布する数値フィールドデータ専用のトークナイザーも備えています。0から1までの値を持つ正規化画像に適しており、畳み込みネットワーク上に構築され、画像トークナイザーで使用されるものと同様の量子化手法を採用しています。また、グレースケールの銀河画像とそれに対応するセグメンテーションマップを用いて学習されています。

天体測位に用いられる楕円境界ボックスデータについては、各ターゲットは、位置座標、楕円の形状、サイズという5つのパラメータで記述されます。トークン化処理は、座標を最も近いピクセルにマッピングし、楕円の属性を量子化することで実装されます。画像内のターゲットの数が変化するケースに対応するため、検出されたすべてのターゲットはシーケンスに変換され、画像の中心からの距離に従ってソートされます。これにより、統一された標準化された表現構造が形成されます。

AION-1：天文学科学のためのマルチモーダル基礎モデル

AION-1 のアーキテクチャは、現在主流となっている初期融合マルチモーダル モデルのアイデアを活用しており、具体的には、4M モデル (Apple と EPFL が開発したマルチモーダル AI トレーニング フレームワーク) によって提案されたスケーラブルなマルチモーダル マスク モデリング スキームを採用しています。その中心となる考え方は次のとおりです。あらゆる種類のデータを統一されたトークン表現に変換した後、コンテンツの一部をランダムにマスクし、モデルはマスクされた部分を復元する方法を学習します。これにより、モデルは画像、スペクトル、数値データなど、異なる形式のデータ間の固有の関係性を自動的に発見できます。

具体的には、各トレーニング サンプルには、M 種類の異なるデータ シーケンスが含まれています。学習中、モデルは入力情報と再構成対象データの2つの部分をランダムに選択します。データセット全体から両方の部分をランダムに選択するため、モデルは各データタイプの特徴を把握し、異なるデータタイプ間の対応関係を理解することができます。

技術的な実装に関しては、下の図に示すように、AION-1 は、マルチタスク用に特別に設計された Transformer エンコーダー/デコーダー アーキテクチャを採用しています。標準的なエンコーダとデコーダに加えて、各データタイプに固有の埋め込みメカニズムを設計している点が革新的です。このモデルは、各データタイプ専用の変換関数、学習可能な型識別パラメータ、および位置パラメータを備えています。

特に注目すべきは、このモデルがデータタイプとデータソースの組み合わせごとに一意の型識別子を割り当てる点です。同じ画像データセット内であっても、観測機器が異なるソースであれば、異なる識別子が割り当てられます。この設計により、モデルはデータのソース特性を識別できます。ソース特性には、データ品質や解像度といった重要な属性が暗黙的に含まれていることがよくあります。

モデルの学習効率は、マスクするデータ内容の適切な選択に大きく依存します。研究によると、オリジナルの4Mモデルで使用されていたサンプリング手法は、長さの異なるデータを扱う際にパフォーマンスが悪く、大量の無効な学習サンプルが容易に生成されることが分かっています。そのため、AION-1 はより効率的な簡素化戦略を提案します。入力コンテンツを決定する際には、まず合計上限を設定します。次に、ランダムにデータタイプを選択し、そのコンテンツの一部を抽出します。残りのコンテンツは他のデータタイプから補完されます。再構成する対象コンテンツを決定する際には、小規模に偏ったサンプリング手法を用いて、再構成に必要なデータタイプの数を決定します。この手法により、トレーニングサンプルあたりの計算コストを削減しながら、トレーニングプロセスと実際の使用シナリオとの整合性を確保します。

モデルのパフォーマンスを総合的に評価するために、研究チームは AION-1 の 3 つの異なるバージョンをトレーニングしました。基本バージョン（3億パラメータ）、大規模バージョン（8億パラメータ）、超大規模バージョン（30億パラメータ）があります。トレーニングにはAdamWオプティマイザーを使用し、適切な学習パラメータを設定して合計205,000ステップのトレーニングを実施しました。学習率は、最初に学習率を上げ、その後下げる戦略を用いて調整しました。下図に示すように、本研究では、異なるモデルサイズとGaia衛星データの組み込みがパフォーマンスに与える影響を示しており、その後のモデル選択の参考資料となります。

AION-1は、学習を完了すると、データの補完からデバイス間のデータ変換まで、様々な実用的な生成機能を備えます。その主な利点は、あらゆるデータタイプ間の全体的な関係性を理解する能力にあり、部分的な観測データからでも、一貫した物理的特性を持つ他の種類のデータサンプルを生成することができます。

実験結果: 赤方偏移の精度が 16 倍向上し、マルチモーダル天文学 AI のパフォーマンスが大幅に向上しました。

AION-1の画期的な点は、特定のタスク向けに設計された複雑な教師あり学習プロセスに依存せず、明確な物理的意味を持ち、データの種類に制限されない汎用表現を直接生成する能力にあります。このメカニズムに基づき、このモデルはクロスモーダル生成とスカラー事後推定という2つの重要なシナリオにおいて優れた性能を発揮します。

クロスモーダル生成に関しては、AION-1は、高次元データの条件付き生成を可能にし、デバイス間のデータ変換と観測品質の向上を効果的にサポートします。最も代表的な応用例は、低解像度のGaia衛星データから高解像度のDESIスペクトルを生成することです。下図に示すように、前者のデータは50～100倍もスパース性が高いにもかかわらず、モデルはスペクトル線の中心、幅、振幅を正確に再構築できます。この進歩により、広く入手可能な低解像度データに基づいて詳細な天文学的分析を行うことが可能になります。これは研究コストの削減とデータ利用の向上に非常に重要です。

パラメータ推定に関しては、AION-1は、量子化されたスカラーの値分布を直接推定できます。赤方偏移推定を例に挙げると、下図に示すように、情報量を増加させた3つの条件における典型的な銀河の結果は、基本的な測光データのみを使用した場合、分布は比較的散在していますが、マルチバンドイメージングを追加することで大幅に収束し、さらに高解像度スペクトルを導入することで推定精度が大幅に向上しています。これは、モデルが複数の情報源情報を効果的に統合し、推定結果を最適化できることを示しています。

モデルの能力を検証するために、研究チームは、以下の4つの方向でも実験を行いました。

* 物理的特性の推定

  恒星質量や表面温度といったパラメータは、通常高解像度の観測データに基づいて導出する必要があるため、本研究では、AION-1を用いて低解像度データから直接推定する方法を検証します。12万個の銀河サンプルを用いたテストでは、専用の教師ありモデルを上回る、あるいは同等の性能を示すことが示されました。さらに、24万個の恒星サンプルを用いたテストでは、「Gaiaの低解像度データに基づいて高解像度パラメータを予測する」というタスクにおいて、特別に最適化されたベースラインモデルさえも凌駕する結果が得られました。

* 専門家の注釈に基づくセマンティック学習（セマンティックヒューマンラベルからの学習） 

銀河形態分類タスク（ラベル付きサンプル数8,000）において、AION-1の精度は、ゼロから学習した専用モデルを上回るだけでなく、数十倍ものラベル付きデータで学習した最先端モデルにも匹敵します。銀河構造セマンティックセグメンテーションタスク（2,800サンプル）では、生成された結果は人間がラベル付けしたデータと非常に一致しており、その性能は単純な完全畳み込みベースラインを上回っています。

* 低データ領域でのパフォーマンス 

天文学研究における注釈不足という共通の問題に対処するため、実験では、データが限られている場合に AION-1 がより顕著な利点を持ち、そのパフォーマンスは桁違いに多くのトレーニング データを必要とする教師ありモデルに匹敵するか、それを上回ることさえあることが示されています。

* 類似性に基づく検索 

強い重力レンズ効果（約 0.11 TP3T を占める）や十分な注釈の欠如などの希少天体の課題に直面している AION-1 は、空間類似性検索を通じて、渦巻銀河、合体銀河、強いレンズ効果の候補の 3 つのターゲット カテゴリで優れたパフォーマンスを示し、検索結果において他の高度な自己教師ありモデルを上回っています。

これらの実験結果は総合的に、AION-1 がマルチモーダル天文データ解析のための統一された効率的なソリューションを提供することを実証しており、特に、データが乏しい場合やクロスモーダル推論を行う場合のシナリオで大きな利点を示しています。

マルチモーダル AI は天文学の研究を強化し、学界と産業界の共同による画期的な進歩をもたらします。

近年、「マルチモーダルAI駆動型天文学研究」は世界中の学術界や産業界から注目されており、一連の画期的な成果が天文学データの処理と応用を大きく変えつつあります。

学術界では、研究者たちはマルチモーダル核融合能力と特定の天文学的問題を密接に統合することに尽力しています。例えば、MITメディアラボが2025年に発表した宇宙探査計画は…マルチモーダル AI と拡張現実技術を組み合わせることで、月面居住ミッション向けのインテリジェントな分析システムが開発されました。このシステムは、衛星リモートセンシング画像、環境センサーの測定値、機器の動作状態などの複数のソース情報を統合して、模擬月面基地におけるリソース管理とリスク警告のリアルタイムの意思決定サポートを提供します。

一方、オックスフォード大学などの研究チームは、数千のデータアラートから超新星爆発に起因する有効な信号を正確に識別できるディープラーニングベースのスクリーニングツールを開発し、天文学者が処理する必要があるデータ量を約851 TP3T削減しました。この仮想研究アシスタントがトレーニングを完了するには、15,000 個のトレーニング サンプルと通常のラップトップの計算能力のみが必要です。日常的な手作業によるスクリーニングプロセスは自動化されたワークフローへと移行しました。最終モデルは高い精度を維持しながら誤報率を約1%に抑え、研究効率を大幅に向上させました。
論文のタイトル:ATLAS仮想研究アシスタント
論文リンク:https://iopscience.iop.org/article/10.3847/1538-4357/adf2a1

業界では、製品化を通じて天文学分野におけるマルチモーダルAIの実用化を推進しています。2024 年、NVIDIA はヨーロッパ南天天文台 (ESO) と提携し、AI 推論最適化テクノロジを超大型望遠鏡のスペクトル データ処理ワークフローに統合しました。TensorRT を活用してマルチモーダル融合モデルを加速することで、遠方の銀河のスペクトル分類の効率が最大 3 倍向上しました。

2025年には、IBMはESOとさらに協力し、マルチモーダルAIを用いてVLT（仮想雷観測）スケジューリングシステムを最適化しました。天気予報、天体の明るさの変化、機器の負荷など、多様な情報を統合することで、システムは観測計画を動的に調整することができます。これにより、変光星などの時間領域ターゲットの捕捉成功率が 30% 向上します。

さらに、Google DeepMindはLIGOおよびGSSIと協力し、重力波検出器の制御精度を向上させる「ディープループシェーピング」と呼ばれる制御手法を提案しました。この制御手法は実際のLIGOシステムで検証され、その実際の性能はシミュレーション結果と非常によく一致しました。元のシステムと比較して、この新技術により、騒音制御能力が30～100倍向上します。そして、システム内で最も不安定で抑制が難しいフィードバック ループ ノイズ源を初めて完全に排除しました。
論文のタイトル:ディープループシェーピングを用いた重力波観測所の宇宙論的到達範囲の改善
用紙のアドレス:https://www.science.org/doi/10.1126/science.adw1291

マルチモーダルな一般表現の構築は、天文学と人工知能の融合領域において明確なトレンドとなっていることは明らかです。学界は科学的問いを深く掘り下げることでコア技術を継続的に改良し、産業界はエンジニアリング能力を活用してこの技術の実装と大規模応用を推進しています。こうした連携による進歩は、天文学研究における高コストな観測と複雑なデータ処理という従来の制約を徐々に打ち破り、より多くの研究者が人工知能の助けを借りて宇宙のより深い謎を探求することを可能にしつつあります。

参考リンク:

1.https://www.media.mit.edu/groups/space-exploration/updates/

2.https://www.eso.org/public/news/eso2408/

3.https://www.eso.org/public/news/eso2502/