HyperAIHyperAI

Command Palette

Search for a command to run...

COMEDIAN: Selbstüberwachtes Lernen und Wissensdistillierung für die Aktionserkennung mit Transformers

Denize Julien ; Liashuha Mykola ; Rabarisoa Jaonary ; Orcesi Astrid ; Hérault Romain

Zusammenfassung

Wir präsentieren COMEDIAN, einen neuen Pipeline zur Initialisierung von räumlich-zeitlichen Transformer-Modellen für die Aktionserkennung, der selbstüberwachtes Lernen und Wissensdistillierung umfasst. Die Aktionserkennung ist eine Aufgabe der zeitlichen Aktionserkennung auf Timestamp-Ebene. Unser Pipeline besteht aus drei Schritten mit zwei Initialisierungsphasen. Zunächst führen wir eine selbstüberwachte Initialisierung eines räumlichen Transformers durch, wobei kurze Videos als Eingabe verwendet werden. Zusätzlich initialisieren wir einen zeitlichen Transformer, der die Ausgaben des räumlichen Transformers durch Wissensdistillierung aus einer vorberechneten Featurebank, die mit jedem kurzen Videosegment ausgerichtet ist, mit globalen Kontext erweitert. Im letzten Schritt feinjustieren wir die Transformer-Modelle an die Aktionserkennungsaufgabe. Die Experimente, die auf dem SoccerNet-v2-Datensatz durchgeführt wurden, zeigen Spitzenleistungen und bestätigen die Effektivität des Vortrainingsparadigmas von COMEDIAN. Unsere Ergebnisse unterstreichen mehrere Vorteile unseres Vortrainingspipelines, darunter eine verbesserte Leistung und eine schnellere Konvergenz im Vergleich zu nicht vortrainierten Modellen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
COMEDIAN: Selbstüberwachtes Lernen und Wissensdistillierung für die Aktionserkennung mit Transformers | Paper | HyperAI