ISSAFE: 사고 상황에서 이벤트 기반 데이터 융합을 통한 의미 분할 성능 향상

모든 교통 참가자의 안전을 보장하는 것은 지능형 차량을 실용적 응용에 가까이 데려오기 위한 전제 조건이다. 보조 시스템은 일반적인 조건에서 높은 정확도를 달성하는 것뿐만 아니라 극한 상황에 대해서도 강건한 인식 능력을 가져야 한다. 그러나 대부분의 학습 데이터셋에서 관측되지 않은 물체 충돌, 변형, 전복 등의 교통사고 상황은 기존의 의미 분할 모델의 성능을 크게 저해할 수 있다. 이 문제를 해결하기 위해, 우리는 사고 상황에서의 의미 분할에 대해 거의 다뤄지지 않은 새로운 과제를 제안하며, 사고 데이터셋 DADA-seg를 함께 제공한다. 이 데이터셋은 313개의 다양한 사고 시퀀스를 포함하며, 각 시퀀스는 40프레임으로 구성되며, 사고 발생 전 및 발생 중의 시간 창을 포함한다. 매 11번째 프레임은 벤치마킹을 위해 수동으로 레이블링되어 있다. 또한, 새로운 이벤트 기반 다중 모달 분할 아키텍처인 ISSAFE를 제안한다. 실험 결과, 이벤트 기반 데이터는 사고 시 빠르게 움직이는 전경(충돌 물체)의 세밀한 운동 정보를 유지함으로써 악조건 하에서도 의미 분할의 안정성을 높이는 보완 정보를 제공함을 확인하였다. 제안된 방법은 제안된 평가 세트에서 mIoU 성능을 +8.2% 향상시켰으며, 10개 이상의 최신 상태(SOTA) 분할 방법을 초과하였다. 제안된 ISSAFE 아키텍처는 Cityscapes, KITTI-360, BDD, ApolloScape 등 다양한 소스 데이터베이스에서 학습된 모델에 대해 일관되게 효과적임이 입증되었다.