다중모달 객체 탐지에 대한 확률적 앙상블

다중 모달 입력을 활용한 물체 탐지 기술은 자율 주행 차량(AV)과 같은 안전이 핵심적인 시스템에서 성능을 향상시킬 수 있다. 일상적인 주행 환경뿐 아니라 야간 주행도 수행하는 자율 주행 차량의 특성을 고려하여, RGB 카메라와 적외선 카메라를 결합한 다중 모달 물체 탐지 기술을 연구한다. 특히 저조도 환경에서 적외선 카메라는 물체에 대해 훨씬 더 강한 특징 정보를 제공하므로, 이 기술의 유용성이 높다. 본 연구에서는 다양한 모달 간 정보 융합 전략을 탐색하며, 주요 기여로 확률적 앙상블 기법인 ProbEn을 제안한다. ProbEn은 단순한 학습되지 않은 방법으로, 다중 모달 탐지 결과를 융합하는 데 사용된다. 이 방법은 베이즈 규칙과 모달 간 조건부 독립성이라는 기본 원리에서 도출되며, 확률적 마진화(probabilistic marginalization)를 통해 특정 객체에 대해 일부 모달 탐지기가 작동하지 않을 경우에도 자연스럽게 대응할 수 있다. 특히, 조건부 독립성 가정이 성립하지 않는 상황에서도 ProbEn은 다중 모달 탐지 성능을 크게 향상시킨다. 예를 들어, 타사 제품 또는 자체적으로 학습한 다른 융합 방법의 출력을 융합할 때에도 유의미한 성능 향상이 관찰된다. 본 연구는 정렬된 이미지(KEIST)와 비정렬 이미지(FLIR)를 포함하는 두 가지 벤치마크에서 ProbEn의 유효성을 검증하였으며, 기존 기법 대비 상대적인 성능 향상이 13% 이상이라는 결과를 도출하였다.