초록
이미지 색상화는 본질적으로 다중 모드 불확실성을 가진 곤란한 문제입니다. 이전 방법들은 딥 뉴럴 네트워크를 활용하여 입력 그레이스케일 이미지를 직접 가능한 색상 출력으로 매핑하였습니다. 이러한 학습 기반 방법들이 인상적인 성능을 보여주었음에도 불구하고, 여러 객체가 포함된 입력 이미지에서는 일반적으로 실패합니다. 주요 원인은 기존 모델들이 전체 이미지에 대한 학습과 색상화를 수행하기 때문입니다. 명확한 피그어-그라운드 구분이 부족한 경우, 이러한 모델들은 의미 있는 객체 수준의 특징을 효과적으로 위치시키고 학습할 수 없습니다. 본 논문에서 우리는 인스턴스 인식 색상화를 달성하기 위한 방법을 제안합니다. 우리의 네트워크 구조는 사전 훈련된 객체 검출기를 활용하여 객체 이미지를 자르고, 인스턴스 색상화 네트워크를 사용하여 객체 수준의 특징을 추출합니다. 또한 유사한 네트워크를 사용하여 전체 이미지의 특징을 추출하고, 융합 모듈을 통해 객체 수준과 이미지 수준의 특징을 결합하여 최종 색상을 예측합니다. 색상화 네트워크와 융합 모듈 모두 대규모 데이터셋에서 학습됩니다. 실험 결과는 우리의 작업이 다양한 품질 지표에서 기존 방법들을 능가하며, 이미지 색상화 분야에서 최신 성능을 달성함을 보여줍니다.