HyperAIHyperAI

Command Palette

Search for a command to run...

HiCM²: Hierarchische kompakte Speichermodellierung für dichtes Video-Captioning

Minkuk Kim¹, Hyeon Bae Kim¹, Jinyoung Moon², Jinwoo Choi¹*, Seong Tae Kim¹*

Zusammenfassung

Mit dem wachsenden Bedarf an Lösungen für reale Videoherausforderungen nimmt das Interesse an dichtem Videokommentieren (DVC) zu. DVC beinhaltet die automatische Beschriftung und Lokalisierung von ungeschnittenen Videos. Mehrere Studien betonen die Herausforderungen des DVC und stellen verbesserte Methoden vor, die auf Vorwissen wie Vortraining und externem Gedächtnis basieren. In dieser Forschung schlagen wir ein Modell vor, das das menschliche hierarchische kompakte Gedächtnis nutzt, inspiriert durch die Hierarchie des menschlichen Gedächtnisses und die Kognition. Um eine menschenähnliche Erinnerungsabfrage nachzubilden, konstruieren wir ein hierarchisches Gedächtnis und ein hierarchisches Gedächtnislesemodul. Wir bauen ein effizientes hierarchisches kompaktes Gedächtnis auf, indem wir Clustering von Gedächnisevents und Zusammenfassung mit Hilfe großer Sprachmodelle verwenden. Vergleichsexperimente zeigen, dass dieser hierarchische Erinnerungsabfrageprozess die Leistung des DVC verbessert, indem er den aktuellen Stand der Technik auf den Datensätzen YouCook2 und ViTT erreicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
HiCM²: Hierarchische kompakte Speichermodellierung für dichtes Video-Captioning | Paper | HyperAI