비디오 전파 및 라벨 완화를 통한 의미 분할 개선

의미 분할은 정확한 모델을 학습하기 위해 많은 양의 픽셀 단위 주석이 필요합니다. 본 논문에서는 새로운 훈련 샘플을 생성하여 훈련 세트를 확장하고 의미 분할 네트워크의 정확성을 개선하기 위한 비디오 예측 기반 방법론을 제시합니다. 우리는 비디오 예측 모델이 미래 프레임을 예측하는 능력을 활용하여 미래 라벨도 예측할 수 있습니다. 또한 합성된 샘플에서 발생하는 오차를 완화하기 위한 공동 전파 전략을 제안합니다. 우리는 합성된 샘플로 증강된 데이터셋에서 의미 분할 모델을 훈련시키면 정확성이 크게 향상됨을 보여줍니다. 더불어, 객체 경계부에 대한 주석 노이즈와 전파 아티팩트에 견고한 새로운 경계 라벨 완화 기술을 소개합니다. 제안된 방법들은 Cityscapes 데이터셋에서 83.5% 및 CamVid 데이터셋에서 82.9%의 최신 mIoU(평균 교집합 대 합집합) 성능을 달성하였습니다. 우리의 단일 모델은 앙상블 없이 KITTI 의미 분할 테스트 셋에서 72.8%의 mIoU를 달성하였으며, 이는 ROB 챌린지 2018 우승작품을 초월하는 결과입니다. 우리의 코드와 비디오는 https://nv-adlr.github.io/publication/2018-Segmentation 에서 확인하실 수 있습니다.