세마틱 인지 장면 인식

장면 인식은 현재 컴퓨터 비전 분야에서 가장 도전적인 연구 주제 중 하나이다. 이는 클래스 간의 모호성 때문일 수 있다. 여러 장면 클래스의 이미지가 유사한 객체를 공유하고 있어, 서로를 혼동하게 만든다. 특히 특정 장면 클래스의 이미지가 상당히 다를 경우 이 문제는 더욱 악화된다. 기존의 컨볼루션 신경망(Convolutional Neural Networks, CNN)은 장면 인식 성능을 크게 향상시켰지만, 객체 인식이나 이미지 인식과 같은 다른 인식 작업에 비하면 여전히 부족한 수준이다. 본 논문에서는 RGB 이미지에서 추출한 특징을 의미론적 표현(장면 객체 및 스태프, 그리고 그 상대적 위치)에 포함된 정보를 활용하여 게이팅하는 주의 메커니즘(attention module)을 통해 이미지 정보와 맥락 정보를 통합하는 엔드투엔드 다중모달 CNN 기반의 새로운 장면 인식 방법을 제안한다. 이 게이팅 과정은 CNN의 수용 영역을 표시적인 장면 콘텐츠에 다시 집중시킴으로써, 장면의 의미 분명성을 강화하고 장면 간의 혼동을 완화한다. 공개된 네 개의 데이터셋에서 수행한 실험 결과, 제안한 방법은 기존의 모든 최첨단 기법을 능가하면서도 네트워크 파라미터 수를 크게 줄였다. 본 논문에서 사용된 모든 코드와 데이터는 https://github.com/vpulab/Semantic-Aware-Scene-Recognition 에서 공개되어 있다.