17일 전
다양한 조건에서의 RAW 개체 탐지 향상
Zhong-Yu Li, Xin Jin, Boyuan Sun, Chun-Le Guo, Ming-Ming Cheng

초록
기존의 객체 탐지 방법은 주로 sRGB 입력을 고려하지만, 이는 원래 시각화를 위해 설계된 ISP(이미지 신호 처리기)를 통해 RAW 데이터에서 압축된 결과물이다. 그러나 이러한 압축 과정은 특히 복잡한 조명 및 기상 조건에서 탐지에 필수적인 정보를 손실할 수 있다. 이를 해결하기 위해 우리는 7,785장의 고해상도 실질 RAW 이미지와 135,601개의 레이블링된 객체 인스턴스(62개 카테고리)를 포함한 AODRaw 데이터셋을 제안한다. 이 데이터셋은 9가지 서로 다른 조명 및 기상 조건 하에서 실내·실외 다양한 장면을 포괄적으로 촬영하였다. AODRaw는 RAW 및 sRGB 모두에서 객체 탐지가 가능한 지원을 제공하며, 현재의 탐지 방법을 평가하기 위한 포괄적인 벤치마크를 제시한다. 실험을 통해 sRGB에서의 사전 학습은 sRGB와 RAW 사이의 도메인 갭으로 인해 RAW 객체 탐지의 잠재력을 제한함을 발견하였고, 이에 따라 RAW 도메인에서 직접 사전 학습하는 것이 필요함을 확인하였다. 그러나 카메라 노이즈로 인해 RAW 사전 학습은 sRGB 사전 학습에 비해 풍부한 표현을 학습하는 데 더 어려움이 있다. 이를 보완하기 위해 sRGB 도메인에서 사전 학습된 오프더쇼프 모델로부터 지식을 흡수하여 RAW 사전 학습을 지원하였다. 그 결과, 추가적인 전처리 모듈 없이도 다양한 극한 조건에서 상당한 성능 향상을 달성하였다. 코드와 데이터셋은 https://github.com/lzyhha/AODRaw 에서 공개된다.