READMem: 다양한 메모리에 대한 강건한 임베딩 연관성 연구 - 제약 없는 비디오 객체 분할을 위한

우리는 READMem (다양한 메모리를 위한 강건한 임베딩 연관, Robust Embedding Association for a Diverse Memory)을 제시합니다. 이는 제약이 없는 비디오를 처리하도록 설계된 반자동 비디오 객체 분할(sVOS) 방법론의 모듈식 프레임워크입니다. 최근의 sVOS 연구들은 일반적으로 지속적으로 확장되는 메모리에 비디오 프레임을 집계하여 장기적인 응용 프로그램에 높은 하드웨어 자원을 요구합니다. 이러한 메모리 요구 사항을 완화하고 인접 프레임 정보로 인해 발생하는 유사한 객체 중복을 방지하기 위해, 이전 방법론에서는 프레임 저장 가능성을 조절하는 하이퍼파라미터를 도입하였습니다. 이 파라미터는 비디오 속성(예: 외관 변화의 속도와 비디오 길이)에 따라 조정되어야 하며, 일반화 성능이 좋지 않습니다. 대신, 우리는 새로운 프레임의 임베딩이 메모리 내용의 다양성을 증가시키는 경우에만 이를 메모리에 통합합니다. 또한, 업데이트 과정에서 메모리에 저장된 임베딩과 쿼리 임베딩 간의 강건한 연관성을 제안합니다. 우리의 접근 방식은 중복 데이터의 누적을 방지하여, 장기적인 비디오에서도 극단적인 메모리 요구 사항을 막고 메모리 크기를 제한할 수 있습니다. 우리는 이전에 장기적인 비디오에서 제한된 성능을 보였던 인기 있는 sVOS 베이스라인들을 READMem으로 확장하였습니다. 우리의 접근 방식은 짧은 시퀀스의 성능 저하 없이 Long-time Video 데이터셋(LV1)에서 경쟁력 있는 결과를 달성하였습니다. 우리의 코드는 공개적으로 이용 가능합니다.