BURST: Eine Benchmark für die Vereinigung von Objekterkennung, Segmentierung und Verfolgung in Videos

Mehrere bestehende Benchmarks beinhalten das Verfolgen und Segmentieren von Objekten in Videos, wie zum Beispiel Video Object Segmentation (VOS) und Multi-Object Tracking and Segmentation (MOTS). Aufgrund der Verwendung unterschiedlicher Benchmark-Datensätze und Metriken (z.B. J&F, mAP, sMOTSA) gibt es jedoch wenig Interaktion zwischen ihnen. Als Folge sind veröffentlichte Arbeiten in der Regel auf einen bestimmten Benchmark ausgerichtet und lassen sich nicht leicht miteinander vergleichen. Wir sind der Überzeugung, dass die Entwicklung generalisierter Methoden, die mehrere Aufgaben bewältigen können, eine größere Kohäsion innerhalb dieser Forschungsuntergemeinschaften erfordert. In diesem Paper zielen wir darauf ab, dies durch den Vorschlag des Datensatzes BURST zu erleichtern, der Tausende vielfältige Videos mit hochwertigen Objektmasken enthält, sowie einem dazugehörigen Benchmark mit sechs Aufgaben im Bereich des Verfolgens und Segmentierens von Objekten in Videos. Alle Aufgaben werden unter Verwendung derselben Daten und vergleichbarer Metriken evaluiert, was den Forschern ermöglicht, sie zusammen zu betrachten und somit Wissen aus verschiedenen Methoden über verschiedene Aufgaben effektiver zu bündeln. Darüber hinaus demonstrieren wir mehrere Baseline-Methoden für alle Aufgaben und zeigen, dass Ansätze für eine Aufgabe auf eine andere angewendet werden können, wobei die Leistungsunterschiede quantifizierbar und erklärbar sind. Die Datensatz-Annotationen und das Evaluationscode sind unter folgendem Link verfügbar: https://github.com/Ali2500/BURST-benchmark.