효율적인 자기 앙상블을 통한 세분할 분류

예측의 앙상블(ensemble)은 개별 예측을 별도로 수행하는 것보다 더 뛰어난 성능을 보인다는 것이 잘 알려져 있다. 그러나 심층 세분화(semantic segmentation)와 같이 계산 자원을 다소 많이 요구하는 작업의 경우, 별도로 학습되어야 하는 여러 학습기(learner)를 포함한 앙상블을 구성하는 것은 거의 실현 불가능하다. 본 연구에서는 앙상블 기법이 제공하는 성능 향상 효과를 활용하여 심층 세분화 성능을 향상시키되, 기존 앙상블 방식의 높은 학습 비용을 피하고자 한다. 제안하는 자기 앙상블(self-ensemble) 방법은 특징 피라미드 네트워크(feature pyramid network) 기법이 생성하는 다중 스케일 특징을 활용하여 독립적인 디코더에 공급함으로써, 단일 모델 내에서 앙상블을 구현한다. 이는 기존 앙상블과 유사하게 각 학습기의 예측을 종합하여 최종 예측을 도출하지만, 이전의 연구와 달리 본 모델은 엔드투엔드(end-to-end)로 학습이 가능하여 기존 앙상블의 복잡한 다단계 학습 과정을 완화한다. 제안한 자기 앙상블 방법은 심층 세분화의 벤치마크 데이터셋인 Pascal Context 및 COCO-Stuff-10K에서 현재 최고 성능을 기록하며, ADE20K와 Cityscapes에서도 경쟁력 있는 성능을 보였다. 코드는 github.com/WalBouss/SenFormer에서 공개되어 있다.