인터랙티브 개체 세그멘테이션을 위한 지속적 적응: 보정 학습을 통한 접근

인터랙티브 객체 세분화(Interactive Object Segmentation)에서는 사용자와 컴퓨터 비전 모델이 협력하여 객체를 세분화한다. 최근의 연구들은 이 작업에 컨볼루션 신경망(Convolutional Neural Networks)을 활용한다. 주어진 이미지와 사용자가 입력한 수정 사항을 입력으로 받아, 세분화 마스크를 출력한다. 이러한 접근법은 대규모 데이터셋에서 학습함으로써 뛰어난 성능을 달성하지만, 테스트 시 모델 파라미터를 변경하지 않는다. 반면에, 우리는 사용자의 수정 사항이 희소한 학습 예시로 활용될 수 있음을 인식하고, 이를 바탕으로 실시간으로 현재 데이터에 맞춰 모델 파라미터를 업데이트할 수 있는 방법을 제안한다. 본 방법은 특정 객체와 배경에 대한 적응, 테스트 세트 내 분포 변화에 대한 적응, 특정 객체 클래스에 특화되는 것, 심지어 학습과 테스트 간 이미징 모달리티가 완전히 변경되는 큰 도메인 전이 상황에서도 효과적으로 작동할 수 있다. 우리는 8개의 다양한 데이터셋에서 광범위한 실험을 수행하였으며, 다음과 같은 결과를 도출하였다. 동결된 파라미터를 가진 모델과 비교했을 때, 제안한 방법은 (i) 학습 및 테스트 간 분포 변화가 작을 경우, 필요한 수정 횟수를 9%~30% 감소시키며, (ii) 특정 클래스에 특화할 경우 12%~44% 감소시키고, (iii) 학습 및 테스트 간 도메인을 완전히 변경하는 경우 각각 60% 및 77% 감소시킨다.