지구 관측 위성은 넓은 지역을 장기간에 걸쳐 관측할 수 있어 농업 생산, 산림 관리, 생태 모니터링, 토지 관리 등 다양한 분야에서 중요한 도구로 자리 잡았습니다. 위성이 수집한 장기간의 원격 탐사 데이터를 활용하여 연구자들은 지구 표면의 역동적인 변화를 추적할 수 있습니다. 그러나 실제 위성 관측 데이터는 완벽과는 거리가 멀습니다. 구름, 불규칙한 궤도 재방문 주기, 센서 해상도 불일치, 장비 잡음 등이 주요 간섭 요인입니다.이로 인해 원시 데이터가 불완전하고, 이질적이며, 무질서해져 고정밀 지능형 분석에 직접 사용하기 어렵습니다.특히 농작물 생육 주기나 단기적인 생태계 교란과 같은 세부적인 시나리오에서 구름은 핵심적인 변화 과정을 직접적으로 가릴 수 있습니다.

현재 업계에서는 구름을 제거하고 노이즈를 줄여 표준화된 구름 없는 이미지를 생성하는 이미지 합성 기술이 일반적으로 사용됩니다. 이러한 기술은 데이터 품질과 활용성을 향상시키지만, 상당한 정보 손실을 초래하기도 합니다.계절 현상의 역동성이나 단기적인 급격한 변화와 같은 미세한 시간적 특징은 합성 과정에서 종종 약화되거나 심지어 사라져 핵심 정보의 손실을 초래합니다.

최근 몇 년 동안 대규모 사전 학습을 통해 원격 감지 기본 모델들이 상당한 발전을 이루었습니다. 그러나 대부분의 모델은 여전히 심층 필터링 및 정규화를 거친 이상적인 데이터에 의존하며, 학습 과정에서 구름 없는 합성 영상이나 시계열 평균 데이터만을 사용합니다. 이러한 접근 방식은 구름의 영향을 받았지만 실제 변화 패턴을 여전히 담고 있는 많은 관측 데이터를 사실상 버립니다. 결과적으로, 실제 운영 환경에서 희소하고 불완전하며 복잡한 구름으로 덮인 시계열 데이터에 직면했을 때 모델은 제대로 작동하지 못합니다.불안정한 특징 추출은 일반화 능력을 크게 저하시킵니다.

이러한 병목 현상을 극복하기 위해 케임브리지 대학교, 알토 대학교, 브리스톨 대학교의 공동 연구팀은 Barlow Twins 알고리즘을 기반으로 하는 새로운 시간적 특징 학습 패러다임을 구축했습니다. 이 패러다임은 구름을 포함하는 데이터를 필터링하는 대신, 동일 위치에서 관측값의 서로 다른 하위 집합 간의 특징 일관성을 제한함으로써 모델이 지구 표면의 안정적인 시공간적 변화를 자율적으로 학습하고 시간적 샘플링 불변성을 갖는 원격 감지 특징 표현을 생성할 수 있도록 합니다. 이를 바탕으로,연구팀은 또한 Sentinel-1/Sentinel-2 다중 모드 시계열 데이터에 대한 픽셀 수준 원격 감지 기반 모델인 TESSERA를 제안했습니다.

"TESSERA: 지구 표현 및 분석을 위한 표면 스펙트럼의 시간적 임베딩"이라는 제목의 관련 연구 결과가 논문 사전 공개 플랫폼인 arXiv에 게재되었습니다.

연구 하이라이트:

* 높은 레이블 활용도를 갖는 전역 규모의 픽셀 수준 특징 임베딩을 구축하고, 새로운 자기 지도 학습 아키텍처를 설계하며, Sentinel-1/Sentinel-2 다중 모달 데이터를 통합하는 픽셀 수준 원격 감지 기본 모델을 훈련합니다.

* FAIR 가이드라인을 준수하는 데이터 내장 솔루션을 소개합니다. 10미터 해상도의 픽셀 수준 8비트 정수 특징 임베딩으로 구성된 전 세계 연간 데이터 세트를 공개하여, 직접 배포 가능한 FAIR 가이드라인을 준수하는 원격 감지 리소스를 제공합니다.

* 실험 결과, TESSERA는 다양한 분류, 분할 및 회귀 작업에서 최첨단 정확도와 매우 높은 레이블링 효율성을 달성할 수 있으며, 일반적으로 가벼운 작업 헤더와 최소한의 계산만 필요로 합니다.

논문 보기:
https://hyper.ai/papers/2506.20380

데이터셋: 전역 수준에서 지역 수준까지 다차원 평가 시스템 구축

본 연구에서는 모델 사전 학습 및 모델의 일반화 능력 평가를 위한 대규모 글로벌 시계열 원격 탐사 데이터 시스템을 구축하였다. 전체 데이터 시스템은 사전 학습 데이터셋과 후속 평가 데이터셋으로 구성된다.모든 데이터는 Sentinel-1 레이더 데이터와 Sentinel-2 광학 데이터를 기반으로 합니다.레이더와 광학 관측의 상호 보완적인 장점을 최대한 활용하십시오.

사전 학습 단계에서 연구팀은 2017년부터 2024년까지의 기간을 아우르고 전 세계 3천 개 이상의 격자 타일을 공간적으로 포함하는 대규모 글로벌 시계열 데이터 세트를 구축했습니다.총 약 8억 개의 d-픽셀 샘플.엄격하게 선별되고 표준화된 다른 데이터셋들과는 달리, 이 데이터셋은 결측값, 불규칙한 샘플링, 구름 덮개 등 실제 관측값의 원래 특성을 최대한 보존합니다. 또한, 각 시간 단계에는 관측값의 유효 상태를 표시하는 이진 마스크가 함께 제공되어 모델이 결측값과 관측값 품질의 차이를 명확하게 인식할 수 있도록 합니다.

하위 평가 단계,연구팀은 분류, 분할 및 회귀라는 세 가지 주요 작업을 포괄하는 공개적으로 사용 가능한 벤치마크 데이터 세트 6개를 선정했습니다.평가 대상 지역은 독일, 프랑스, 오스트리아, 핀란드, 말레이시아를 포함한 여러 국가 및 지역을 포괄하며, 농업 및 임업과 같은 일반적인 적용 시나리오를 포함합니다. 각 과제에는 대규모 지역 데이터 세트와 세분화된 지역 데이터 세트가 모두 포함되어 모델의 지역 간 전이성과 세밀한 특징 모델링 기능을 각각 평가합니다.

더 나아가, 현재 고해상도, 다중 시점의 Sentinel-1/2 멀티모달 주석 데이터가 부족한 상황에 대응하여,연구팀은 또한 독자적으로 두 가지 새로운 평가 기준을 개발했습니다.첫 번째는 정밀 농업 시나리오에서 분류 및 분할 기능을 평가하는 데 사용되는 오스트리아 플롯 수준 작물 매핑 데이터 세트이고, 두 번째는 산림 구조 매개변수 역산 작업에서 성능을 검증하는 데 사용되는 라이다 보정을 기반으로 구축된 동남아시아 산림 캐노피 높이 데이터 세트입니다.

지구 관측 임무를 위한 픽셀 수준의 기본 모델

TESSERA는 모델이 복잡하고 불완전한 시계열 데이터로부터 안정적인 표현을 직접 학습할 수 있도록 설계되었으며, 가능한 한 많은 원본 관측 정보를 보존하여 데이터 준비, 보완 및 복구 프로세스에 대한 의존도를 줄입니다.

이를 위해,본 연구는 시계열 데이터를 구성하는 새로운 방법인 d-pixel을 최초로 제안했습니다.기존 분석 방식은 일반적으로 단일 장면 이미지 또는 고정된 시계열 데이터를 입력으로 사용하는 반면, d-pixel 방식은 단일 공간 위치에 초점을 맞춰 서로 다른 시점에 획득한 동일 픽셀에 대한 다중 소스 관측 데이터를 시간 순서대로 배열하여 관측 시퀀스를 구성합니다.각 d-픽셀은 센티넬-2 광학 정보와 센티넬-1 레이더 정보뿐만 아니라 마스크 벡터를 통해 구름으로 인한 가림 현상이나 데이터 누락이 있는 시간 단계를 식별합니다.이 표현 방식은 지표면 변화의 시간적 특성을 완벽하게 보존합니다. 식생 성장에 의한 느린 변화든 재해, 교란 등으로 인한 단기적인 급격한 변화든 모두 보존할 수 있어, 기존의 정규화 과정에서 발생하는 정보 손실을 근본적으로 방지합니다.

모델 아키텍처 측면에서 보면,TESSERA는 광학 데이터와 레이더 데이터를 별도로 처리하기 위해 이중 분기 인코더를 사용합니다.두 가지 유형의 데이터는 영상화 메커니즘과 물리적 특성이 상당히 다릅니다. 독립적인 인코딩을 통해 각 데이터의 특징을 충분히 활용할 수 있으며, 이후 융합을 통해 다중 모달 상호보완성을 달성할 수 있습니다. 각 모달리티에 대해, 모델은 먼저 유효 관측값을 임베딩하고 학습 가능한 연간 일별 위치 인코딩을 추가하여 시간 정보를 도입합니다. 그런 다음, 트랜스포머 인코더를 사용하여 장기적인 시간적 종속성을 모델링합니다. 마지막으로, 게이트 순환 유닛(GRU)을 사용하여 전체 시계열을 집계하여 고정 차원의 단일 모달 표현을 생성합니다. 광학 및 레이더 특징을 융합한 후, 128차원의 다중 모달 표면 표현이 생성됩니다. 또한, 본 연구에서는 양자화된 인식 훈련을 도입하여 최종 특징을 8비트 정수로 압축합니다.저장 용량은 정확도 손실 없이 약 75%만큼 감소했습니다.

사전 학습 전략은 TESSERA의 핵심 혁신 기술입니다. Barlow twin 자기 지도 학습 프레임워크를 기반으로, 동일한 d-픽셀에 대해 전체 시계열 데이터에서 무작위로 두 개의 관측치 하위 집합을 추출하여 두 가지 서로 다른 "관점"을 구성합니다. 두 관측치 집합은 서로 다른 시점을 포함하고, 일부 시간 단계가 누락되었더라도 동일한 표면 객체를 묘사합니다.

훈련 과정에서 모델은 두 관측치 집합을 가능한 한 일관성 있는 특징 공간으로 매핑해야 합니다. 이러한 방식으로,이 모델은 더 이상 특정 관측치의 순간적인 특징을 학습하는 것이 아니라, 서로 다른 관측치 뒤에 숨겨진 안정적인 표면 패턴을 학습합니다.이를 통해 시간 샘플링 방법에 강건한 특징 표현을 얻을 수 있습니다. 또한, 본 연구는 관측값 변동 및 공간적 자기상관에 대한 모델의 강건성을 더욱 향상시키기 위해 하이브리드 정규화 및 전역 셔플링 전략을 도입합니다.

TESSERA는 레이블 수가 적고 데이터가 희소한 환경에서 그 장점을 보여줍니다.

TESSERA의 성능을 종합적으로 평가하기 위해 본 연구에서는 원격 탐사 분야의 대표적인 응용 시나리오를 기반으로 체계적인 실험을 설계했습니다. 분류, 분할, 회귀의 세 가지 과제를 통해 다양한 데이터 규모, 주석 조건, 지역적 환경에서 모델의 성능을 검증했습니다. 주요 원격 탐사 기본 모델과 고전적인 시각화 모델을 기준 모델로 선정하고, 1%, 30%, 100%의 세 가지 균일한 주석 비율을 설정했습니다.이 연구는 태그가 부족한 상황에서 학습 능력을 평가하는 데 중점을 둡니다.공정성을 보장하기 위해 다양한 작업에 걸쳐 하위 추론에 경량 어댑터가 사용됩니다.

분류 작업에서 TESSERA는 시계열 특징 학습에서 상당한 우위를 보입니다. 이 모델은 국가 규모의 수목 종 분류와 정교한 작물 분류 작업 모두에서 최고의 성능을 달성했습니다.특히 1% 라벨링 데이터만 사용하는 극히 적은 샘플 크기의 시나리오에서 TESSERA는 안정적인 성능을 유지합니다.분류 정확도는 최적 기준선 대비 약 8%포인트 향상되었습니다. 이러한 이점은 주로 모델이 장기적인 지표면 변화를 효과적으로 모델링한 데서 비롯됩니다. 식물 생장 주기와 계절적 특성을 포착하기 위해 완전한 시계열 관측 자료를 활용함으로써, 최소한의 주석만으로도 높은 판별력을 가진 범주 표현을 생성할 수 있습니다.

분할 작업에서 TESSERA는 뛰어난 공간 디테일 렌더링 능력을 보여주었습니다. 대규모 농경지 분할 작업에서, 이 모델은 완전 레이블링 조건에서 업계 최고 수준의 성능을 달성했으며, 레이블링이 부족한 시나리오에서는 모든 대조 모델을 능가하는 성능을 보여주었습니다. 주목할 만한 점은...TESSERA는 경량 디코더만을 사용하여 공간적 맥락 정보를 효과적으로 학습할 수 있으며, 정확도를 유지하면서 배포 효율성 또한 보장합니다.오스트리아 작물 의미 분할 데이터 세트에서 이 모델은 더 명확한 구획 경계를 생성하고, 서로 다른 작물 간의 혼동을 크게 줄이며, 전반적인 의미적 일관성을 강화합니다.

회귀 분석 작업은 주로 모델이 연속적인 표면 매개변수를 표현하는 능력을 검증하는 데 중점을 두었습니다. 지상 바이오매스 추정 작업에서 TESSERA는 다양한 라벨링 스케일에서 가장 우수한 결과를 달성했으며, 예측 오차가 낮고 공간 분포가 더욱 연속적이었습니다. 산림 캐노피 높이 역산 작업에서는 모델이 3차원 산림 구조 정보를 포착하는 능력을 더욱 입증했으며, 추정 결과가 라이다 측정 데이터와 가장 높은 일치도를 보여 산림의 수직 구조 특성을 효과적으로 복원했습니다.

모든 실험 결과를 종합해 볼 때,TESSERA는 분류, 분할, 회귀라는 세 가지 유형의 작업 모두에서 안정적인 우위를 유지하며, 특히 주석 부족, 데이터 희소, 관측치 누락과 같은 복잡한 조건에서 그 우위가 더욱 두드러집니다.고품질 훈련 데이터에 의존하는 많은 모델과 비교했을 때, TESSERA는 실제 원격 감지 시나리오에서 성능 저하가 더 완만하게 나타나므로 더 강력한 견고성과 일반화 능력을 보여줍니다.

마지막 말

원격 탐사 기초 모델은 정말 "이상적인 데이터"를 필요로 할까요? TESSERA의 접근 방식은 다른 해답을 제시합니다. 모델이 불완전하고 불규칙하며 구름으로 인해 왜곡된 실제 관측 데이터를 직접 활용하여, 자기 지도 학습 프레임워크 내에서 시계열 샘플링 불변성을 갖는 특징 표현을 학습하도록 하는 것입니다. 이는 데이터 정제가 더 이상 중요하지 않다는 의미가 아니라, 연구자들이 "데이터 정제"에서 "모델이 불완전한 데이터를 처리하도록 가르치는 것"으로 초점을 옮길 수 있다는 것을 시사합니다. 결국, 구름이 포함된 모든 위성 이미지는 실제 관측 데이터의 일부입니다. 끊임없이 더 "완벽한" 데이터를 추구하는 것보다, 모델이 현실 세계의 복잡성을 이해하도록 하는 것이 원격 탐사 기초 모델의 일반화를 위한 중요한 방향일 수 있습니다.