초록
본 논문에서는 쿼리 객체에 대한 스케치 주석을 입력으로 사용하는 상호작용형 비디오 객체 분할 알고리즘이 제안됩니다. 우리는 주석 네트워크(A-Net)와 전송 네트워크(T-Net)로 구성된 딥 뉴럴 네트워크를 개발하였습니다. 첫째, 프레임에 사용자의 스케치 주석이 주어지면, A-Net은 인코더-디코더 구조를 기반으로 분할 결과를 생성합니다. 둘째, T-Net은 글로벌 전송 모듈과 로컬 전송 모듈을 활용하여 분할 결과를 양방향으로 다른 프레임으로 전송합니다. 글로벌 전송 모듈은 주석이 달린 프레임의 분할 정보를 대상 프레임으로 전달하며, 로컬 전송 모듈은 시간적으로 인접한 프레임의 분할 정보를 대상 프레임으로 확산시킵니다. A-Net과 T-Net을 번갈아 적용함으로써 사용자는 최소한의 노력으로 원하는 분할 결과를 얻을 수 있습니다. 우리는 사용자 스케치를 시뮬레이션하고 보조 손실 함수를 활용하여 전체 네트워크를 두 단계로 훈련시켰습니다. 실험 결과는 제안된 상호작용형 비디오 객체 분할 알고리즘이 기존의 최신 알고리즘들을 능가한다는 것을 입증하였습니다. 코드와 모델은 https://github.com/yuk6heo/IVOS-ATNet에서 확인 가능합니다.