11일 전

플레어 프리 비전: 깊이 정보를 통한 Uformer의 능력 강화

{Marwan Torki, Yousef Kotp}
초록

이미지 플레어는 카메라 렌즈가 강한 광원을 향하고 있을 때 발생하는 흔한 문제로, 그림자(ghosting), 블룸(blooming) 또는 기타 아티팩트 형태로 나타나며 이미지 품질을 저하시킬 수 있다. 본 연구에서는 깊이 추정과 이미지 복원을 결합한 새로운 딥러닝 기반 플레어 제거 방법을 제안한다. 먼저, 딥 뷰전환기(Dense Vision Transformer)를 사용하여 장면의 깊이를 추정하고, 이를 입력 이미지와 연결(concatenate)하여 Uformer라는 일반적인 U자형 트랜스포머 아키텍처에 입력한다. Uformer는 이미지 복원에 특화된 모델로, 깊이 맵을 포함한 입력을 바탕으로 플레어 아티팩트를 효과적으로 제거한다. 제안한 방법은 Flare7K++ 테스트 데이터셋에서 최신 기준(SOTA, State-of-the-Art) 성능을 달성하며, 다양한 유형의 플레어가 포함된 실제 이미지에 대해서도 뛰어난 강건성과 일반화 능력을 보여준다. 본 연구는 깊이 정보를 이미지 복원에 활용하는 데 있어 새로운 가능성을 열었다고 판단된다. 코드는 GitHub에서 공개되어 있다.

플레어 프리 비전: 깊이 정보를 통한 Uformer의 능력 강화 | 최신 연구 논문 | HyperAI초신경