HyperAIHyperAI

Command Palette

Search for a command to run...

Duales Prototypen-Attention-Modell für die unüberwachte Segmentierung von Videoobjekten

Suhwan Cho$^1,*$ Minhyeok Lee$^1,*$ Seunghoon Lee$^1$ Dogyoon Lee$^1$ Heeseung Choi$^2$ Ig-Jae Kim$^2$ Sangyoun Lee$^1$

Zusammenfassung

Die unüberwachte Video-Objekt-Segmentierung (VOS) hat das Ziel, das auffälligste Objekt in Videos zu erkennen und zu segmentieren. Die wichtigsten Techniken, die bei der unüberwachten VOS eingesetzt werden, sind 1) die Zusammenarbeit von Erscheinungs- und Bewegungsinformationen; und 2) die zeitliche Fusion zwischen verschiedenen Frames. In dieser Arbeit werden zwei innovative prototypbasierte Aufmerksamkeitsmechanismen vorgeschlagen: der intermodale Aufmerksamkeitsmechanismus (IMA) und der interframentale Aufmerksamkeitsmechanismus (IFA). Diese Mechanismen integrieren diese Techniken durch dichte Propagation über verschiedene Modalitäten und Frames. IMA verbindet Kontextinformationen aus verschiedenen Modalitäten dicht miteinander auf Basis gegenseitiger Verfeinerung. IFA injiziert den globalen Kontext eines Videos in den Abfrageframe, was eine vollständige Nutzung nützlicher Eigenschaften aus mehreren Frames ermöglicht. Experimentelle Ergebnisse auf öffentlichen Benchmark-Datensätzen zeigen, dass unser vorgeschlagener Ansatz alle existierenden Methoden deutlich übertrifft. Die beiden vorgeschlagenen Komponenten wurden auch durch eine ablativen Studie gründlich validiert.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp