IcoCap: Verbesserung der Videozusammenfassung durch Kombination von Bildern

Video-Captioning stellt eine anspruchsvollere Aufgabe dar als Image-Captioning, hauptsächlich aufgrund unterschiedlicher Inhaltsdichte. Videodaten enthalten redundante visuelle Informationen, was es Captionern erschwert, eine Vielzahl von Inhalten zu generalisieren und sich nicht durch irrelevanten Inhalt täuschen zu lassen. Zudem werden redundante Inhalte nicht ausreichend reduziert, um der entsprechenden visuellen Semantik in den Ground-Truth-Beispielen gerecht zu werden, was die Schwierigkeit des Video-Captionings weiter erhöht. Die aktuelle Forschung im Bereich Video-Captioning konzentriert sich überwiegend auf die Gestaltung von Captionern und vernachlässigt dabei den Einfluss der Inhaltsdichte auf die Leistungsfähigkeit der Captioner. Angesichts der Unterschiede zwischen Videos und Bildern existiert eine weitere Möglichkeit, die Leistung von Video-Captionern zu verbessern, indem man kurze und leicht zu lernende Bildproben nutzt, um die Vielfalt der Video-Beispiele weiter zu erhöhen. Diese Anpassung der Inhaltsdichte zwingt den Captioner, effektiver gegen Redundanz und Ambiguität zu lernen. In diesem Paper stellen wir einen neuartigen Ansatz namens Image-Compounded Learning for Video Captioners (IcoCap) vor, um eine bessere Erfassung komplexer Video-Semantik zu ermöglichen. IcoCap besteht aus zwei Komponenten: der Image-Video-Compounding-Strategie (ICS) und der visuell-semantischen geführten Captioning-Methode (VGC). Die ICS integriert leicht lernbare Bild-Semantik in die Video-Semantik, erhöht dadurch die Vielfalt der Video-Inhalte und veranlasst das Netzwerk, Inhalte anhand einer breiteren Vielfalt an Beispielen zu generalisieren. Zudem zwingt das Lernen an Beispielen, die mit Bildinhalten kompaktiert wurden, den Captioner, wertvolle Video-Cues effizienter zu extrahieren, selbst wenn einfache Bild-Semantik vorliegt. Dies hilft dem Captioner, sich stärker auf relevante Informationen zu konzentrieren und überflüssige Inhalte zu filtern. Anschließend leitet VGC das Netzwerk flexibel im Lernen der Ground-Truth-Captions basierend auf den kompaktierten Beispielen an und trägt so dazu bei, die Diskrepanz zwischen Ground-Truth und mehrdeutiger Semantik in Video-Beispielen zu verringern. Unsere experimentellen Ergebnisse belegen die Wirksamkeit von IcoCap bei der Verbesserung des Lernprozesses von Video-Captionern. Bei Anwendung auf die weit verbreiteten Datensätze MSVD, MSR-VTT und VATEX erzielt unser Ansatz wettbewerbsfähige oder überlegene Ergebnisse im Vergleich zu aktuellen State-of-the-Art-Methoden und zeigt somit die Fähigkeit, mit redundanten und mehrdeutigen Videodaten effektiv umzugehen.