HyperAIHyperAI

Command Palette

Search for a command to run...

Neuüberlegung der Zero-shot-Video-Klassifikation: End-to-End-Training für realistische Anwendungen

Biagio Brattoli Joseph Tighe Fedor Zhdanov Pietro Perona Krzysztof Chalupka

Zusammenfassung

Auf großen Datensätzen trainiert, kann tiefes Lernen (DL) Videos mit hoher Genauigkeit in Hunderte verschiedener Klassen klassifizieren. Allerdings sind Videodaten aufgrund der Annotierungskosten teuer. Zero-Shot-Lernen (ZSL) bietet eine Lösung für dieses Problem. ZSL trainiert ein Modell einmal und verallgemeinert auf neue Aufgaben, deren Klassen im Trainingsdatensatz nicht enthalten sind. Wir stellen den ersten end-to-end-Algorithmus für ZSL in der Videoklassifikation vor. Unser Trainingsverfahren basiert auf Erkenntnissen aus der jüngsten Literatur zur Videoklassifikation und nutzt einen trainierbaren 3D-CNN, um visuelle Merkmale zu lernen. Dies unterscheidet sich von früheren Ansätzen im Bereich des Video-ZSL, die vortrainierte Merkmalsextraktoren verwenden. Außerdem erweitern wir das aktuelle Benchmarking-Paradigma: Bisherige Techniken zielen darauf ab, die Testaufgabe bereits während des Trainings als unbekannt zu halten, erreichen dies jedoch nicht vollständig. Wir fördern eine Domänenverschiebung zwischen Trainings- und Testdaten und verbieten die Anpassung eines ZSL-Modells an ein bestimmtes Testdatenset. Wir überbieten den Stand der Technik deutlich. Unser Code, das Evaluierungsverfahren und die Modellgewichte sind unter github.com/bbrattoli/ZeroShotVideoClassification verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp