SATS: 지속적인 의미 분할을 위한 자기 주의 전이

많은 지능형 시스템에서 점점 더 다양한 이미지 영역을 분할하는 능력을 지속적으로 학습하는 것이 바람직한 기능입니다. 그러나 이러한 지속적인 의미 분할은 지속적인 분류 학습과 마찬가지로 재앙적 잊어버림(catastrophic forgetting) 문제에 직면해 있습니다. 기존의 여러 지식 증류(knowledge distillation) 전략이 지속적인 분류에 잘 적용되어 지속적인 의미 분할에도 적합하게 변형되었지만, 이들은 깊은 완전 컨볼루션 네트워크의 한 개 이상의 층에서 얻은 출력을 기반으로 오래된 지식을 전송하는 것만 고려하고 있습니다. 본 연구는 기존 솔루션과 달리, 각 이미지 내부의 요소들(예: 픽셀이나 작은 국소 영역) 간의 관계와 같은 새로운 유형의 정보를 전송하여 클래스 내 및 클래스 간 지식을 포착하려고 제안합니다. 트랜스포머 스타일 세그멘테이션 모델에서 자기 주목(self-attention) 맵을 통해 이러한 관계 정보를 효과적으로 얻을 수 있습니다. 각 이미지 내에서 동일한 클래스에 속하는 픽셀들이 종종 비슷한 시각적 특성을 공유한다는 점을 고려하여, 클래스별 지역 풀링(class-specific region pooling)이 적용되어 지식 전송에 더 효율적인 관계 정보를 제공합니다. 다수의 공개 벤치마크에서 수행된 광범위한 평가 결과는 제안된 자기 주목 전송 방법이 재앙적 잊어버림 문제를 더욱 효과적으로 완화하며, 이 방법을 하나 또는 그 이상의 널리 채택된 전략들과 유연하게 결합하면 최신 솔루션보다 크게 우수함을 입증하였습니다.