베이징사범대학교 연구팀은 2,500제곱킬로미터의 실제 데이터를 기반으로 고해상도 공간 해상도 이미지 예측을 달성하기 위해 StarFusion 모델을 제안했습니다.
과학과 기술의 흐름에 힘입어 전통 농업은 지적인 변혁을 겪고 있습니다.현대 농업의 '눈과 귀' 역할을 하는 농업 원격 감지 기술은 위성과 드론 등의 플랫폼에서 원격 감지 데이터를 수집하고, 작물 생장 조건, 토지 이용 및 피복 변화, 해충 및 질병 상태, 수자원 관리, 농업 환경의 진화 등을 모니터링하는 데 널리 사용됩니다.농업 원격 감지 기술은 의사 결정권자에게 실시간 및 심층적인 통찰력을 제공하여 정확한 정보와 미래 지향적인 의사 결정을 보장할 수 있습니다.
그러나 농업에 원격 감지 데이터를 적용하려면 일반적으로 높은 공간 해상도(HSR)와 빈번한 관측이 필요합니다. 광학 위성 이미지의 재조사 기간이나 구름 오염 등의 요인으로 인해 위성이 작물 성장을 모니터링하는 능력이 심각한 영향을 받는 경우가 많습니다.
높은 공간적, 시간적 해상도를 갖는 합성 영상을 얻기 위해 많은 시공간 융합 방법이 개발되었으나, 기존의 방법들은 주로 모델 개발 및 검증 측면에서 낮고 중간 수준의 공간적 해상도를 갖는 위성 데이터를 융합하는 데 초점을 맞추고 있다. 중간 및 높은 공간 해상도 이미지를 융합하는 데 있어서는 여전히 다양한 과제에 직면해 있습니다.
이러한 문제를 해결하기 위해서는베이징 사범대학 지구 표면 프로세스 및 자원 생태학 국가중점실험실의 천진(Chen Jin) 연구팀은 StarFusion이라 불리는 이중 스트림 시공간 분리 융합 아키텍처 모델을 제안했습니다.이 모델은 기존의 STF 방식과 딥러닝을 결합하여, 대부분의 기존 딥러닝 알고리즘이 학습을 위해 HSR 시계열 이미지를 필요로 한다는 문제를 극복하고 고해상도 공간 해상도 이미지 예측을 완벽하게 실현할 수 있습니다.
연구 하이라이트:
* StarFusion은 Gaofen-1 및 Sentinel-2 위성 데이터를 융합하여 높은 시간적, 공간적 해상도 이미지를 생성합니다.
* StarFusion은 딥러닝 기반 초고해상도 방식과 부분 최소 제곱 회귀 모델을 결합하고 에지 및 색상 가중 손실 함수를 사용하여 높은 융합 정확도와 우수한 공간 세부 정보를 유지합니다.
* StarFusion 모델은 3가지 실험 장소에서 기존의 시공간 융합 방식과 딥러닝 기반 방식보다 전반적인 성능과 시간적 전이성이 더 우수함을 보여주었습니다.
서류 주소:
https://doi.org/10.34133/remotesensing.0159
데이터세트 다운로드 주소:
https://go.hyper.ai/LGmkW
오픈소스 프로젝트인 "awesome-ai4s"는 100개가 넘는 AI4S 논문 해석을 모아 방대한 데이터 세트와 도구를 제공합니다.
https://github.com/hyperai/awesome-ai4s
데이터 세트: 산둥성 2개 카운티 기반, Gaofen-1 및 Sentinel-2 위성 데이터 통합 사용
이 연구에서는 각각 동일한 지리적 영역을 포괄하는 Gaofen-1과 Sentinel-2 위성의 데이터 세트를 사용하여 포괄적인 평가 실험을 설계했습니다.
* 연구 장소
이 연구는 산둥성 페이셴과 윈청 현에서 진행되었으며, 약 2,567km2의 면적과 다양한 토지 피복 유형을 다루었습니다. 경관 다양성을 확보하기 위해 이 연구에서는 세 개의 하위 지역을 실험 장소로 지정했습니다. 이 지역은 농경지, 수역, 도로, 건물 등이 혼합되어 있으며, 지역 내 풍경의 이질성도 뚜렷한 차이를 보였습니다.
* 데이터 전처리
아래 표에서 보듯이, 본 연구에서는 주로 가오펀-1 위성을 이용하여 해상도 2m의 비교적 선명한 영상을 제작하고, 센티넬-2 위성을 이용하여 해상도 10m의 비교적 거친 영상을 제작합니다. 그런 다음 연구에서는 센티넬-2 이미지를 정렬하고 지리보정하여 2m 공간 분해능에서 가오펜-1 데이터와 일치시켰습니다.
본 연구에서는 가오펜-1과 센티넬-2의 분광 특성을 조화시키기 위해 선형 회귀 모형을 사용하였습니다. 센티넬 데이터의 각 대역을 종속변수로, 가오펜-1 데이터의 해당 대역을 독립변수로 하여 단변량 회귀 모형을 구축한 후, 구축된 모형의 기울기와 절편을 각 대역의 가오펜-1 영상의 각 픽셀에 적용하였습니다. 이러한 피팅 과정을 통해 변환된 Gaofen-1 이미지가 Sentinel-2의 스펙트럼 반응을 정확하게 반영하도록 보장하여 두 이미지 간의 스펙트럼 불일치를 효과적으로 줄일 수 있습니다.
StarFusion: ECW 가중치 함수가 추가된 SRGAN과 PLSR의 모델 통합
아래 그림과 같이 StarFusion은 기준일(T1)에 획득한 Gaofen-1 데이터와 기준일(T1) 및 예측일(T2)에 획득한 Sentinel-2 데이터를 융합합니다.StarFusion은 수집된 데이터를 기반으로 SRGAN(Grad-SRGAN-STF)과 PLSR의 두 가지 융합 모델을 2스트림 시공간 분리 융합 아키텍처로 통합하여 두 모델의 장점을 최대한 활용할 수 있습니다.
부분 최소 제곱 회귀 모형(PLSR) 부분에서는 규모 불변 가정에 기반하여 자유도가 더 높은 다변수 회귀 관계 모형을 확립하여 시간적 변화를 보다 정확하게 예측했습니다. 본 연구에서는 Gaofen-1 이미지에 비해 Sentinel-2 이미지의 공간 해상도가 낮다는 점을 고려하여 거친 이미지에서 정밀한 이미지로의 다운스케일링 작업을 처리하기 위해 그래디언트 맵 SRGAN 모델(Grad-SRGAN)을 설계했습니다.
또한 본 연구에서는 기울기 그래프를 적용한 SRGAN-STF 모델(Grad-SRGAN-STF)도 제안하였다.아래 그림과 같이 Grad-SRGAN-STF는 시간 전송 성능에 기반을 두고 있으며 주로 세 부분으로 구성됩니다.
1) 생성기: 두 개의 평행한 표면 거칠기 SR(표면 거칠기) 매개변수로 구성되며, 하나는 대략적인 반사 이미지(Ref-SR)를 수집하고 다른 하나는 대략적인 기울기 이미지(Grad-SR)를 수집합니다.
2) 판별기: 두 개의 독립적인 판별기 DRef와 DGrad는 생성된 반사 이미지와 그래디언트 맵이 각각 실제인지 위조인지 판별하도록 설계되었습니다.
3) 손실 함수: 콘텐츠 손실과 적대적 손실의 두 부분으로 구성됩니다. 생성기 Ref-SR과 Grad-SR의 손실 함수는 콘텐츠 손실과 적대적 손실의 가중합입니다. 그 중, 콘텐츠 손실은 예측 이미지와 참조 이미지의 차이를 평가하는 데 사용할 수 있으며, 적대적 손실은 생성된 이미지가 판별자에 의해 실제 이미지로 인식될 확률을 측정할 수 있습니다.
더 중요한 것은,이 연구에서는 또한 ECW(Edge and Color Weight)라는 새로운 가중치 함수를 설계했습니다. ECW는 SRGAN 방법의 강력한 공간적 세부 복구 기능과 PLSR 방법의 정확한 시간적 변화 추정 기능을 결합하여 더욱 정확한 예측을 제공할 수 있습니다.
연구 결과: StarFusion이 가장 좋은 성능을 보이고 Grad-SRGAN이 가장 큰 기여를 합니다.
실험 I: StarFusion은 다른 알고리즘에 비해 공간 세부 정보 충실도가 가장 뛰어납니다.
StarFusion의 효과성을 평가하기 위해 본 연구에서는 3개 하위 지역에서 2개의 다른 날짜에 촬영한 Gaofen-1 및 Sentinel-2 이미지를 기반으로 StarFusion을 다른 대표적인 알고리즘(STARFM, FSDAF, Fit-FC, FIRST 및 SRGAN)과 비교했으며, 예측 이미지 생성의 정확도와 공간적 세부 정보와 같은 요소에 초점을 맞췄습니다.
결과는 아래 그림과 같습니다.StarFusion 방법으로 예측한 이미지(아래 그림 G)는 참조 이미지(아래 그림 A)와 상당한 유사성을 보이며, 뛰어난 공간적 세부 정보 충실도를 보여줍니다.이와 대조적으로 STARFM, FSDAF, Fit-FC, FIRST, SRGAN에서 생성된 이미지는 모두 흐릿한 영역 패치를 보여주고 필드 경계가 충분히 명확하지 않습니다.
또한, 다음 APA 다이어그램은 또한 다음을 보여줍니다.StarFusion 방식은 정확도나 공간적 세부 정보의 큰 손실 없이 강력한 공간 전송 기능을 제공합니다.StarFusion은 시각적으로는 "좋음" 범위의 경계에 있지만 그 범위에 속하지 않는다는 점은 주목할 만합니다. 이는 앞으로 성능이 개선될 여지가 있음을 시사합니다.
실험 II: StarFusion은 장기간에 걸쳐 최상의 이미지 품질을 예측합니다.
하위 지역 3은 복잡한 지형적 특징을 가지고 있기 때문에 이 연구에서는 해당 지역의 다양한 기준 날짜(T1, T2, T3) 이미지와 이에 대한 기울기 맵을 사용하여 T4의 고해상도 이미지를 예측할 계획입니다. 동시에 이 연구에서는 GradSRGAN(Grad-SRGAN-Multi)과 StarFusion(StarFusion-Multi) 모델을 훈련시키고 그 성능을 비교했습니다.
연구에 따르면 예측 날짜가 기준 날짜에 가까울 경우 모든 퓨전 방법이 잘 작동하지만 시간 간격이 늘어날수록 STARFM, FSDAF, Fit-FC, FIRST 및 SRGAN의 이미지 품질이 저하되고 흐릿함과 색상 왜곡이 발생합니다. StarFusion은 서로 다른 기준 날짜를 가진 이미지 쌍을 입력할 때 우수한 공간적 세부 정보와 색상 충실도를 유지하여 다른 5가지 방법보다 우수한 성능을 발휘합니다.
또한,StarFusion-Multi와 Grad-SRGAN-Multi는 단일 쌍의 이미지로 학습하는 것보다 여러 쌍의 이미지로 학습했을 때 성능이 더 뛰어나며, StarFusion-Multi는 RMSE와 로버츠 마진 측면에서 Grad-SRGAN-Multi보다 지속적으로 우수한 성능을 보입니다.
실험 III: Grad-SRGAN이 StarFusion에 가장 큰 기여를 함
마지막으로, 이 연구에서는 제안된 StarFusion 방법의 각 부분(Grad-SRGAN, PLSR, ECW 포함)의 기여도를 보여주기 위해 하위 지역-1에서 절제 연구도 수행했습니다.결과는 Grad-SRGAN, PLSR 및 ECW 기능을 도입하면 모두 융합 정확도를 개선하는 데 도움이 된다는 것을 보여줍니다. 기여도 측면에서 볼 때 Grad-SRGAN의 도입이 가장 큰 기여를 했으며, 그 다음으로 ECW 가중치 함수와 PLSR이 뒤따랐습니다.
AI, 농업 원격탐사 지능운전 시대 진입에 도움
AI 기술의 지속적인 발전으로 디지털 농업은 점차 농업 개발의 새로운 트렌드로 자리 잡고 있습니다. 농업 위성 원격 감지 산업은 전통적인 데이터 기반 모델에서 AI를 핵심으로 하는 지능화 모델로 점진적으로 전환되는 중요한 시기에 있습니다. 점점 더 많은 회사가 이 분야에 진출하고 경쟁하고 있습니다.
예를 들어,SenseTime이 대표하는 인공지능 회사들은 자체 개발한 대규모 기반 모델을 사용하여"센스타임 랜드" AI 원격 감지 대형 모델은 원격 감지 분야에서 출시되어 경작지 구획의 자동화, 지능화 및 정규화, 작물 식별 및 비곡물 요소 식별을 실현했습니다. 또한,Huawei와 같은 기술 대기업은 Ascend AI를 사용하여 우한 대학이 원격 감지 이미지의 지능적 해석을 위한 특수 프레임워크인 LuoJiaNet과 원격 감지 샘플 라이브러리인 LuoJiaSET을 구축하도록 지원했습니다.원격 감지 이미지의 자동 해석을 가속화하고 농업 및 천연자원과 같은 산업에서 지능형 원격 감지 기술의 광범위한 적용을 가능하게 합니다.
학술 분야에서는 중국과학원 원격탐사응용연구소와 베이징사범대학이 공동으로 설립한 국가원격탐사과학중점실험실을 중심으로본 논문의 저자인 진진 교수를 비롯한 수많은 산업 엘리트들이 우리나라에서 배출되어 농업 원격 감지 기술의 발전과 진보에 점차 중요한 공헌을 하고 있습니다.
1988년 초에 이 연구실은 글로벌 농업 원격 감지 신속 보고 시스템(Cropwatch)을 구축했습니다. 이 시스템은 원격 감지 및 지상 관측 데이터를 기반으로 국가 및 전 세계적 규모에서 작물 생장, 수확량 및 기타 관련 정보를 독립적으로 평가할 수 있습니다. 연구실은 AI 기술의 도움으로 지난 몇 년간 많은 성과를 냈습니다. 여기에는 AGAR 알고리즘을 기반으로 한 새로운 초고해상도 광학 산림 3차원 원격 감지 방법, 원격 감지 AI 알고리즘을 사용한 산불 위성 모니터링 및 조기 경보 시스템 등이 포함됩니다.
농업 원격 감지 분야에 AI를 적용하면 농업 생산의 효율성과 정확성을 높일 뿐만 아니라, 농업의 지속 가능한 발전을 위한 강력한 기술 지원도 제공됩니다. 농업 원격 감지 분야에서 AI의 적용이 더욱 확대되어 식물 질병 및 해충 모니터링, 작물 생장 조건 및 수확량 평가, 농업 생산의 효율적 관리 및 최적화 등을 위한 솔루션이 점점 더 많이 제공될 것으로 예상됩니다.
마지막으로, 학문적 공유 활동을 추천해 드리겠습니다!
Meet AI4S의 세 번째 라이브 방송에는 상하이 교통대학교 자연과학연구소와 상하이 응용수학 국가센터의 박사후 연구원인 주쯔이가 초대되었습니다. 생방송을 시청하기 위한 예약을 하려면 여기를 클릭하세요!
https://hdxu.cn/6Bjomhdxu.cn/6Bjom
