최초의 다중 모드 천문 모델인 AION-1이 성공적으로 개발되었습니다! 캘리포니아 대학교 버클리 캠퍼스 연구진을 비롯한 여러 연구진이 2억 개의 천문 대상에 대한 사전 학습을 기반으로 일반화 가능한 다중 모드 천문 AI 프레임워크를 성공적으로 구축했습니다.

트랜스포머 아키텍처 기반 기본 모델은 자연어 처리 및 컴퓨터 비전과 같은 분야에 심오한 변화를 가져왔으며, "단일 작업에 단일 모델 사용"이라는 맞춤형 패러다임에서 새로운 일반화 단계로 기술을 발전시켰습니다. 그러나 이러한 모델이 과학 연구 분야에 적용되면 심각한 문제에 직면하게 됩니다. 과학적 관측 데이터는 다양한 출처에서 수집되고, 형식이 다양하며, 종종 다양한 관측 노이즈를 포함하고 있어 데이터에 상당한 "복잡한 이질성"이 발생합니다.이러한 현실은 과학적 데이터 분석을 딜레마에 빠뜨립니다.단일 유형의 데이터만 처리하면 잠재적 가치를 충분히 탐색하기 어렵고, 수동으로 설계된 교차 모달 융합 방식에 의존하면 다양한 관찰 시나리오에 유연하게 적응하기 어렵습니다.

여러 과학 분야 중에서도 천문학은 이러한 모델을 위한 이상적인 시험장을 제공합니다. 천문학의 방대한 양의 공개 관측 데이터는 모델 학습에 충분한 "영양소"를 제공합니다. 동시에, 천문학의 관측 방법은 은하 이미징, 항성 분광학, 천체광도법 등 다양한 접근법을 포괄하여 매우 다양합니다. 이러한 다차원 데이터 형식은 자연스럽게 다중 모드 기술 개발의 요구를 충족합니다.

사실, 일부 연구에서는 천문학의 다중 모드 모델을 구축하려고 시도했지만 이러한 시도는 여전히 분명한 한계를 가지고 있습니다. 대부분은 초신성 폭발과 같은 단일 현상에 초점을 맞추고 핵심 기술로 "대조적 목표"에 의존하기 때문에 모델이 임의의 모드 조합에 유연하게 대처하고 얕은 상관관계 외에 모드 간의 주요 과학적 정보를 포착하기 어렵습니다.

이러한 병목 현상을 극복하기 위해 캘리포니아 대학교 버클리, 케임브리지 대학교, 옥스퍼드 대학교를 포함한 전 세계 10개 이상의 연구 기관의 팀이 이 프로젝트에 협력했습니다.천문학을 위한 최초의 대규모 다중 모드 기반 모델 패밀리인 AION-1(천문 옴니모달 네트워크)이 출시되었습니다.통합된 초기 융합 백본 네트워크를 통해 이미지, 스펙트럼, 별 목록 데이터와 같은 이질적인 관측 정보를 통합하고 모델링함으로써, 제로샷 시나리오에서도 우수한 성능을 발휘할 뿐만 아니라, 선형 감지 정확도도 특정 작업을 위해 특별히 훈련된 모델과 비슷합니다.

"AION-1: 천문학을 위한 옴니모달 기초 모델"이라는 제목의 관련 연구 결과가 NeurIPS 2025에 포함되었습니다.

연구 하이라이트:

* 매개변수 규모가 3억에서 31억에 이르는 토큰 기반 다중 모달 과학 기초 모델 시리즈인 AION-1 모델 제품군을 제안합니다. 이는 특히 매우 이질적인 천문 관측 데이터를 처리하고 임의의 모달 조합을 지원하도록 설계되었습니다.

* 다양한 출처와 다양한 형식의 천문 데이터를 통합된 표현으로 변환하고, 단일하고 일관된 데이터 코퍼스를 구축하여 과학 데이터의 이질성, 기기 노이즈, 출처 차이와 같은 일반적인 문제를 효과적으로 극복할 수 있는 맞춤형 토큰화 방법이 개발되었습니다.

* AION-1은 광범위한 과학 과제에서 탁월한 성능을 발휘합니다. 간단한 순방향 프로빙만으로도 최첨단(SOTA) 수준에 도달하여 저데이터 시나리오에서 지도 기반 알고리즘을 크게 능가합니다. 이러한 특성 덕분에 후속 연구자들은 복잡한 미세 조정 없이도 AION-1을 직접 효율적으로 사용할 수 있습니다.

* AION-1은 데이터 이질성, 노이즈, 기기 다양성과 같은 핵심 과제를 체계적으로 해결하여 천문학 및 기타 과학 분야에 실현 가능한 다중 모드 모델링 패러다임을 제공합니다.

서류 주소:
https://openreview.net/forum?id=6gJ2ZykQ5W
공식 WeChat 계정을 팔로우하고 백그라운드에서 "AION-1"을 답글하면 전체 PDF를 받을 수 있습니다.

더 많은 AI 프런티어 논문:
https://hyper.ai/papers

AION-1 사전 학습 초석: 다중 유형 천문 데이터를 위한 MMU 데이터 세트 및 토큰화 체계

AION-1의 사전 학습은 MMU(Multimodal Universe) 데이터 세트를 기반으로 합니다.아래 그림에서 볼 수 있듯이, 이는 기계 학습 작업을 위해 특별히 구축된 공개적으로 이용 가능한 천문 데이터 컬렉션으로, 5개의 주요 천문 조사 프로젝트에서 수집된 다양한 관측 정보를 통합한 것입니다.

구체적으로 여기에는 다음이 포함됩니다. 초신성 카메라(HSC)와 레거시 이미징 서베이에서 제공한 은하 이미지; 암흑 에너지 분광 복사계(DESI)와 슬론 디지털 스카이 서베이(SDSS)에서 제공한 천체의 고해상도 스펙트럼과 해당 거리 정보; 은하수 별의 고정밀 광도 및 위치 데이터도 포함하는 가이아 위성에서 기록한 저해상도 스펙트럼.

이러한 다중 소스, 다중 포맷 데이터의 통합 처리를 달성하기 위해 AION-1은 범용 토큰화 방식을 제안합니다.이 방식은 이미지, 스펙트럼, 수치 데이터 등 다양한 형태의 천문 데이터를 모델이 인식하고 처리할 수 있는 통합된 표현으로 변환할 수 있습니다.이를 통해 다양한 천문 데이터 소스와 다양한 형식의 핵심 과제를 효과적으로 해결할 수 있습니다. 토큰화 프로세스는 각 데이터 유형에 대한 전용 변환기를 사용하여 다양한 기기의 데이터 출력에 적응할 수 있도록 하며, 유사한 데이터의 의미적 정렬을 보장하고, 서로 다른 소스의 동일 데이터 유형에 대한 반복적인 모델 학습을 방지합니다.

다중 대역 이미징 데이터의 경우은하 이미지 간의 해상도, 채널 수, 파장 범위, 그리고 노이즈 레벨의 차이를 해결하기 위해 이미지 토크나이저는 유연한 채널 임베딩 설계를 사용합니다. 이 설계는 다양한 채널 수를 가진 입력에 적응하고 망원경 원점과 같은 정보를 표현에 통합합니다. 핵심 네트워크는 유한값 양자화 기법과 결합된 개선된 ResNet 구조를 기반으로 하며, 이를 통해 단일 모델이 여러 관측 파이프라인의 이미지 데이터를 균일하게 처리할 수 있습니다. 모델은 학습 과정에서 노이즈 가중치를 고려하는 손실 평가 방법을 활용하여 이미징 프로세스에서 알려진 노이즈 정보를 최대한 활용하여 재구성 품질을 향상시킵니다.

스펙트럼 데이터의 경우다양한 장비 간의 신호 강도, 파장 범위, 해상도 차이는 표준화 및 공유 파장 그리드에 매핑하여 해결하며, 이를 통해 다중 장비 및 다중 대상 스펙트럼의 공동 처리가 가능합니다. ConvNeXt V2 네트워크 구조에 기반한 이 토크나이저는 사전 정의된 인코딩이 필요 없는 양자화 기법을 사용하며, 가중 잡음 손실 함수를 사용하여 다양한 천문 관측 자료의 잡음 특성을 융합합니다.

테이블/스칼라 데이터 처리 시,AION-1은 넓은 수치 범위에 적용하기 어려운 기존의 연속적 표현 방식을 버리고, 데이터 분포 통계에 기반한 조각별 이산화 전략을 채택했습니다. 이 방법은 수치 분포를 더욱 균일하게 만들고 정보가 집중된 영역에서 변환 오류를 최소화합니다.

이 모델은 표준 측광 이미지 외에도 분할 맵 및 속성 맵과 같은 공간적으로 분포된 수치 필드 데이터를 위한 전용 토크나이저를 제공합니다. 0에서 1까지의 값을 갖는 정규화된 이미지에 적합하며, 합성곱 신경망을 기반으로 하고, 이미지 토크나이저에 사용되는 것과 유사한 양자화 기법을 사용하며, 회색조 은하 이미지와 해당 분할 맵을 사용하여 학습됩니다.

천체 위치 지정에 사용되는 타원형 경계 상자 데이터의 경우,각 대상은 위치 좌표, 타원 모양, 크기라는 다섯 가지 매개변수로 표현됩니다. 토큰화 과정은 좌표를 가장 가까운 픽셀에 매핑하고 타원 속성을 양자화하는 방식으로 구현됩니다. 이미지 내 대상의 개수가 가변적인 경우를 처리하기 위해, 감지된 모든 대상을 시퀀스로 변환하고 이미지 중심과의 거리에 따라 정렬하여 통합되고 표준화된 표현 구조를 형성합니다.

AION-1: 천문 과학을 위한 다중 모드 기본 모델

AION-1의 아키텍처는 현재 주류를 이루는 초기 퓨전 멀티모달 모델의 아이디어를 차용했으며, 특히 Apple과 EPFL이 개발한 멀티모달 AI 교육 프레임워크인 4M 모델이 제안한 확장 가능한 멀티모달 마스크 모델링 방식을 채택했습니다.핵심 아이디어는 다음과 같습니다.모든 유형의 데이터를 통합된 토큰 표현으로 변환한 후, 콘텐츠의 일부를 무작위로 마스킹하고, 모델은 마스킹된 부분을 복구하는 방법을 학습합니다. 이를 통해 모델은 이미지, 스펙트럼, 수치 데이터 등 다양한 형태의 데이터 간의 내재적 관계를 자동으로 파악할 수 있습니다.

구체적으로,각 훈련 샘플에는 M개의 서로 다른 유형의 데이터 시퀀스가 포함되어 있습니다.학습 과정에서 모델은 두 부분을 무작위로 선택합니다. 한 부분은 입력 정보로, 다른 부분은 재구성 대상으로 선택합니다. 두 부분 모두 전체 데이터셋에서 무작위로 선택되므로, 모델은 각 데이터 유형의 특성을 파악하고 서로 다른 데이터 유형 간의 대응 관계를 이해할 수 있습니다.

기술적 구현 측면에서는 아래 그림과 같이,AION-1은 멀티태스킹을 위해 특별히 설계된 Transformer 인코더-디코더 아키텍처를 채택했습니다.표준 인코더 및 디코더 외에도, 이 모델의 혁신은 각 데이터 유형에 대한 고유한 임베딩 메커니즘을 설계하는 데 있습니다. 각 데이터 유형에 대해 이 모델은 전용 변환 함수, 학습 가능한 유형 식별자 매개변수, 그리고 위치 매개변수를 갖추고 있습니다.

특히 주목할 점은 이 모델이 각 데이터 유형과 데이터 소스의 조합에 고유한 유형 식별자를 할당한다는 것입니다. 동일한 이미지 데이터 세트 내에서도 관측 장비에 따라 소스가 다르면 식별자가 달라집니다. 이러한 설계를 통해 모델은 데이터 품질 및 해상도와 같은 중요한 속성을 암시적으로 포함하는 데이터의 소스 특성을 식별할 수 있습니다.

모델의 학습 효율성은 마스킹할 데이터 내용의 적절한 선택에 크게 좌우됩니다. 연구에 따르면 원래 4M 모델에 사용된 샘플링 방식은 다양한 길이의 데이터를 처리할 때 성능이 좋지 않아 많은 수의 유효하지 않은 학습 샘플이 쉽게 생성되는 것으로 나타났습니다. 따라서,AION-1은 더욱 효율적인 단순화 전략을 제안합니다.입력 콘텐츠를 결정할 때, 먼저 전체 상한값을 설정합니다. 그런 다음, 데이터 유형을 무작위로 선택하여 해당 데이터 유형에서 콘텐츠의 일부를 추출합니다. 나머지 콘텐츠는 다른 데이터 유형에서 보완합니다. 재구성할 대상 콘텐츠를 결정할 때는 더 작은 규모로 편향된 샘플링 방법을 사용하여 필요한 재구성 데이터 유형의 수를 결정합니다. 이 방법은 훈련 샘플당 계산 비용을 줄이는 동시에 훈련 과정과 실제 사용 시나리오 간의 일관성을 보장합니다.

연구팀은 모델의 성능을 종합적으로 평가하기 위해 AION-1의 세 가지 버전을 훈련했습니다.기본 버전(매개변수 3억 개), 대형 버전(매개변수 8억 개), 초대형 버전(매개변수 30억 개).학습 과정에서는 AdamW 옵티마이저를 사용하였고, 적절한 학습 매개변수를 설정하여 총 205,000개의 학습 단계를 수행했습니다. 학습률은 처음에는 학습률을 높이고 나중에는 낮추는 전략을 사용하여 조정했습니다. 아래 그림에서 볼 수 있듯이, 본 연구는 다양한 모델 크기와 Gaia 위성 데이터 포함이 성능에 미치는 영향을 보여주며, 이는 후속 모델 선정에 참고 자료가 됩니다.

AION-1은 학습이 완료되면 데이터 완성부터 기기 간 데이터 변환까지 다양한 작업을 지원하는 다양한 실용적인 생성 기능을 제공합니다. AION-1의 핵심 장점은 모든 데이터 유형 간의 전반적인 관계를 파악하여 부분적인 관측 데이터만으로도 일관된 물리적 특성을 가진 다른 유형의 데이터 샘플을 생성할 수 있다는 것입니다.

실험 결과: 적색편이 정확도가 16배 향상되어 다중 모드 천문학 AI 성능에 있어 중요한 혁신을 이루었습니다.

AION-1의 획기적인 발전은 특정 작업을 위해 설계된 복잡한 지도 학습 프로세스에 의존하지 않고도 명확한 물리적 의미를 지닌 일반적인 표현을 데이터 유형에 제한 없이 직접 생성할 수 있다는 점에 있습니다. 이러한 메커니즘을 기반으로, 이 모델은 교차 모달 생성과 스칼라 사후 추정이라는 두 가지 주요 시나리오에서 탁월한 성능을 발휘합니다.

크로스모달 생성 측면에서,AION-1은 고차원 데이터의 조건부 생성을 지원하여 장치 간 데이터 변환 및 관측 품질 향상을 효과적으로 지원합니다. 가장 대표적인 응용 분야는 저해상도 가이아 위성 데이터로부터 고해상도 DESI 스펙트럼을 생성하는 것입니다. 아래 그림에서 볼 수 있듯이, 이전 데이터는 50~100배 더 높은 희소성을 가지고 있지만, 모델은 스펙트럼 선의 중심, 폭, 진폭을 정확하게 재구성할 수 있습니다. 이러한 발전을 통해 널리 이용 가능한 저해상도 데이터를 기반으로 상세한 천문 분석을 수행할 수 있습니다.이는 연구 비용을 절감하고 데이터 활용도를 높이는 데 매우 중요합니다.

매개변수 추정에 관하여,AION-1은 양자화된 스칼라의 값 분포를 직접 추론할 수 있습니다. 아래 그림과 같이 적색편이 추정을 예로 들면, 정보량이 증가하는 세 가지 조건에서 일반적인 은하에 대한 결과는 다음과 같습니다. 기본 측광 데이터만 사용했을 때 분포가 상대적으로 산란되고, 다중 대역 이미징을 추가하면 상당히 수렴하며, 고해상도 스펙트럼을 추가로 도입하면 추정 정확도가 크게 향상됩니다. 이는 이 모델이 다중 소스 정보를 효과적으로 통합하여 추정 결과를 최적화할 수 있음을 나타냅니다.

모델의 기능을 확인하려면연구팀은 또한 네 가지 방향에서 실험을 수행했습니다.

* 물리적 특성 추정

  일반적으로 고해상도 관측을 필요로 하는 항성 질량 및 표면 온도와 같은 매개변수의 경우, 본 연구에서는 AION-1을 사용하여 저해상도 데이터에서 직접 추정하는 방법을 탐구합니다. 12만 개의 은하 샘플을 대상으로 한 실험 결과, AION-1은 전용 지도 학습 모델을 능가하거나 그에 상응하는 성능을 보였습니다. 24만 개의 항성 샘플을 대상으로 한 실험에서는 "가이아 저해상도 데이터 기반 고해상도 매개변수 예측" 작업에서 특별히 최적화된 기준 모델보다 더 뛰어난 성능을 보였습니다.

* 전문가 주석 기반 의미 학습(의미적 인간 라벨 학습) 

은하 형태 분류 과제(8,000개의 레이블이 지정된 샘플)에서 AION-1의 정확도는 처음부터 학습된 전용 모델보다 뛰어날 뿐만 아니라, 수십 배 더 많은 레이블이 지정된 데이터로 학습된 최첨단 모델과도 견줄 만합니다. 은하 구조 의미론적 분할 과제(2,800개의 샘플)에서 생성된 결과는 사람이 레이블을 지정한 데이터와 매우 일치하며, 단순한 완전 합성곱 베이스라인보다 성능이 뛰어납니다.

* 저데이터 체제에서의 성능 

천문학 연구에서 흔히 발생하는 주석 부족 문제를 해결하기 위해, 실험 결과 AION-1은 데이터가 제한적일 때 더 큰 이점을 가지고 있으며, 그 성능은 훨씬 더 많은 학습 데이터가 필요한 지도 학습 모델과 동일하거나 심지어 더 뛰어날 수 있음을 보여줍니다.

* 유사성 기반 검색 

강력한 중력 렌즈(약 0.11 TP3T 설명)와 충분한 주석 부족과 같은 희귀한 천체 문제와 마주쳤지만, AION-1은 공간적 유사성 검색을 통해 나선 은하, 병합 은하, 강력한 렌즈 후보의 세 가지 범주의 대상에서 뛰어난 성능을 보여주었으며, 검색 결과에서 다른 고급 자체 감독 모델을 능가했습니다.

이러한 실험 결과는 AION-1이 다중 모드 천문 데이터 분석을 위한 통합적이고 효율적인 솔루션을 제공한다는 것을 전체적으로 보여주며, 특히 데이터가 부족하고 모드 간 추론이 필요한 시나리오에서 상당한 이점을 보여줍니다.

다중 모드 AI는 천문학 연구를 강화합니다. 학계와 산업계의 협력적 혁신입니다.

최근 몇 년 동안 "멀티모달 AI 기반 천문학 연구"는 전 세계 학계와 산업계의 주목을 받고 있으며, 일련의 획기적인 성과로 천문학 데이터의 처리와 응용 분야가 재편되고 있습니다.

학계 연구자들은 다중 모드 융합 기술을 특정 천문학 문제와 긴밀하게 통합하는 데 전념하고 있습니다. 예를 들어, MIT 미디어랩이 2025년에 발표한 우주 탐사 계획은...멀티모달 AI와 확장 현실 기술을 결합하여 달 거주 임무를 위한 지능형 분석 시스템이 개발되었습니다.이 시스템은 위성 원격 감지 이미지, 환경 센서 판독값, 장비 작동 상태 등 다중 소스 정보를 통합하여 시뮬레이션된 달 기지에서 자원 관리 및 위험 경고에 대한 실시간 의사 결정 지원을 제공할 수 있습니다.

한편, 옥스퍼드 대학과 다른 기관의 연구팀은 수천 개의 데이터 알림에서 초신성 폭발로 인한 유효한 신호를 정확하게 식별할 수 있는 딥 러닝 기반 스크리닝 도구를 개발했으며, 이를 통해 천문학자들이 처리해야 하는 데이터 양을 약 851개의 TP3T만큼 줄일 수 있었습니다.이 가상 연구 지원자는 15,000개의 훈련 샘플과 일반 노트북의 컴퓨팅 성능만 있으면 훈련을 완료할 수 있습니다.일상적인 수동 스크리닝 프로세스는 자동화된 워크플로로 전환되었습니다. 최종 모델은 높은 정확도를 유지하면서도 오경보율을 약 1%로 유지하여 연구 효율성을 크게 향상시켰습니다.
논문 제목:ATLAS 가상 연구 조수
논문 링크:https://iopscience.iop.org/article/10.3847/1538-4357/adf2a1

업계에서는 제품화를 통해 천문학 분야에서 다중 모드 AI의 실질적 배포를 촉진하고 있습니다.2024년 NVIDIA는 유럽 남방 천문대(ESO)와 협력하여 AI 추론 최적화 기술을 초대형 망원경의 스펙트럼 데이터 처리 워크플로에 통합했습니다.TensorRT를 활용하여 다중 모드 융합 모델을 가속화함으로써 먼 은하의 스펙트럼 분류 효율성이 최대 3배까지 향상되었습니다.

2025년, IBM은 유럽천문연맹(ESO)과 협력하여 멀티모달 AI를 활용한 VLT(가상 번개 관측) 스케줄링 시스템을 최적화했습니다. 이 시스템은 일기 예보, 천체 밝기 변화, 장비 부하 등 다양한 정보를 통합하여 관측 계획을 동적으로 조정할 수 있습니다.이를 통해 30%는 변광성과 같은 시간 영역 대상을 포착하는 성공률을 높입니다.

또한, 구글 딥마인드는 LIGO 및 GSSI와 협력하여 중력파 검출기의 제어 정확도를 향상시키기 위한 "딥 루프 쉐이핑(deep loop shaping)"이라는 제어 방법을 제안했습니다. 이 제어기는 실제 LIGO 시스템에서 검증되었으며, 실제 성능은 시뮬레이션 결과와 매우 일치했습니다. 기존 시스템과 비교했을 때,새로운 기술은 소음 제어 능력을 30~100배 향상시킵니다.그리고 처음으로 시스템에서 가장 불안정하고 억제하기 어려운 피드백 루프 노이즈 소스를 완전히 제거했습니다.
논문 제목:Deep Loop Shaping을 이용한 중력파 관측소의 우주론적 도달 범위 개선
서류 주소:https://www.science.org/doi/10.1126/science.adw1291

다중 모드 일반 표현을 구축하는 것이 천문학과 인공지능의 교차점에서 분명한 추세가 되었다는 것은 분명합니다. 학계는 과학적 의문을 탐구하며 핵심 기술을 지속적으로 개선하고 있으며, 산업계는 엔지니어링 역량을 활용하여 기술의 구현 및 대규모 적용을 추진하고 있습니다. 이러한 협력적 발전은 천문학 연구에 있어 고비용 관측과 복잡한 데이터 처리라는 전통적인 제약을 점차 허물고 있으며, 더 많은 연구자들이 인공지능의 도움을 받아 우주의 더 깊은 미스터리를 탐구할 수 있도록 해줍니다.

참조 링크:

1.https://www.media.mit.edu/groups/space-exploration/updates/

2.https://www.eso.org/public/news/eso2408/

3.https://www.eso.org/public/news/eso2502/