초록
메모리 기반 추적기는 최근 추적된 프레임들을 메모리 버퍼에 연결하여 대상 모델을 형성하고, 현재 이미지를 버퍼된 프레임들에 주의를 집중시켜 대상을 위치시키는 비디오 객체 분할 방법입니다. 많은 벤치마크에서 최고 성능을 달성하였음에도 불구하고, 최근 SAM2의 출시로 메모리 기반 추적기가 시각 객체 추적 커뮤니티의 주목을 받게 되었습니다. 그럼에도 불구하고, 현대적인 추적기들은 방해물이 있는 환경에서 여전히 어려움을 겪고 있습니다. 우리는 이 문제를 해결하기 위해 보다 정교한 메모리 모델이 필요하다고 주장하며, SAM2를 위한 새로운 방해물 인식 메모리 모델과 분할 정확도 및 추적 안정성을 동시에 개선하는 자기 반성 기반 업데이트 전략을 제안합니다. 이를 통해 생성된 추적기는 SAM2.1++으로 표기됩니다. 또한, 방해물 문제를 더 잘 연구하기 위해 새로운 방해물 제거(Distractor-distilled) DiDi 데이터셋을 제안합니다. SAM2.1++은 일곱 가지 벤치마크에서 SAM2.1과 관련된 SAM 메모리 확장 방법들을 능가하며, 그 중 여섯 가지 벤치마크에서는 확실한 새로운 최신 기준(SOTA)을 설정하였습니다.