상호작용 및 전파 네트워크를 이용한 빠른 사용자 안내 비디오 객체 분할

우리는 상호작용형 비디오 객체 분할을 위한 딥 러닝 방법을 제시합니다. 이 방법은 상호작용과 전파라는 두 가지 핵심 연산에 기반하며, 각 연산은 컨볼루션 신경망(Convolutional Neural Networks)을 통해 수행됩니다. 두 신경망은 내부적으로도 외부적으로도 연결되어 있어, 복잡한 비디오 객체 분할 문제를 해결하기 위해 공동으로 훈련되고 서로 상호작용합니다. 우리는 상호작용형 비디오 객체 분할을 위해 새로운 다단계 훈련 방식을 제안하여, 신경망이 사용자의 의도를 이해하고 훈련 중 잘못된 추정치를 수정하는 방법을 배울 수 있도록 합니다. 테스트 시점에서는 우리의 방법이 고품질의 결과를 생성하며, 사용자와 상호작용적으로 작동할 만큼 충분히 빠르게 실행됩니다. 2018년 DAVIS 챌린지의 상호작용 트랙 벤치마크에서 제안된 방법을 정량적으로 평가한 결과, 속도와 정확성 면에서 다른 경쟁 방법들을 크게 능가했습니다. 또한 실제 사용자 상호작용에서도 우리의 방법이 잘 작동함을 입증하였습니다.