BURST : Un benchmark pour unifier la reconnaissance d'objets, la segmentation et le suivi dans les vidéos

Plusieurs benchmarks existants impliquent le suivi et la segmentation d'objets dans les vidéos, par exemple, la Segmentation d'Objets Vidéo (VOS) et le Suivi et la Segmentation de Multiples Objets (MOTS), mais il y a peu d'interactions entre eux en raison de l'utilisation de jeux de données de benchmark disparates et de métriques (par exemple, J&F, mAP, sMOTSA). Par conséquent, les travaux publiés ciblent généralement un benchmark particulier et ne sont pas facilement comparables entre eux. Nous pensons que le développement de méthodes généralisées capables de traiter plusieurs tâches nécessite une plus grande cohésion au sein de ces sous-communautés de recherche. Dans cet article, nous visons à faciliter cela en proposant BURST, un jeu de données contenant des milliers de vidéos diverses avec des masques d'objets de haute qualité, ainsi qu'un benchmark associé comprenant six tâches impliquant le suivi et la segmentation d'objets dans les vidéos. Toutes les tâches sont évaluées à l'aide des mêmes données et de métriques comparables, ce qui permet aux chercheurs de les considérer conjointement et donc d'exploiter plus efficacement les connaissances issues de différentes méthodes pour différentes tâches. De plus, nous présentons plusieurs baselines pour toutes les tâches et montrons que les approches pour une tâche peuvent être appliquées à une autre avec une différence de performance quantifiable et explicable. Les annotations du jeu de données et le code d'évaluation sont disponibles à l'adresse suivante : https://github.com/Ali2500/BURST-benchmark.