깊은 시공간 랜덤 필드를 이용한 효율적인 비디오 세그멘테이션

이 연구에서는 시간과 메모리 효율적인 구조화된 예측 방법을 소개합니다. 이 방법은 공간과 시간에 걸쳐 뉴런의 결정을 결합합니다. 우리는 최근 깊은 가우스 조건부 확률장(Deep Gaussian Conditional Random Fields, GCRFs)에서 이루어진 발전을 활용하여, 밀집 연결된 시공간 그래프에서 정확하고 효율적인 추론을 수행할 수 있음을 보여줍니다. 우리의 방법인 VideoGCRF는 (a) 효율적이고, (b) 유일한 전역 최소값을 가지며, (c) 현대의 딥 네트워크와 함께 비디오 이해를 위한 엔드투엔드 학습이 가능합니다. 우리는 시간 영역에서 여러 연결 패턴을 실험하였으며, 비디오의 의미 분할과 인스턴스 분할 작업에서 강력한 기준 모델들보다 경험적으로 개선된 결과를 제시합니다.