Verfolgung durch natürliche-Sprache-Spezifikation

Diese Arbeit befasst sich mit der Verfolgung eines Zielobjekts in einem Video. Anstatt das Ziel im ersten Frame eines Videos durch eine Begrenzungsbox anzugeben, schlagen wir vor, das Objekt basierend auf einer natürlichsprachlichen Beschreibung des Ziels zu verfolgen. Dies ermöglicht eine natürlichere Mensch-Maschine-Interaktion sowie eine Möglichkeit zur Verbesserung der Verfolgungsergebnisse. Wir definieren drei Varianten der sprachbasierten Verfolgung: eine, die ausschließlich auf einer sprachlichen Zielbeschreibung beruht; eine, die auf einer visuellen Zielbeschreibung basiert, die mittels Sprache generiert wird; und eine dritte, die die gemeinsame Kapazität beider Ansätze nutzt. Um das Potenzial der Verfolgung mittels natürlichsprachlicher Spezifikation zu verdeutlichen, erweitern wir zwei gängige Verfolgungsdatasets um sprachliche Beschreibungen und präsentieren experimentelle Ergebnisse. Schließlich skizzieren wir auch neue Anwendungsszenarien im Bereich der Überwachung und anderer Echtzeit-Videostreams, die durch eine sprachliche Spezifikation des Ziels erst möglich werden.