HyperAIHyperAI

Command Palette

Search for a command to run...

Temporale Gedächtnis-Attention für die Video-Semantische Segmentierung

Hao Wang Weining Wang Jing Liu

Zusammenfassung

Die semantische Segmentierung von Videos erfordert die Nutzung komplexer zeitlicher Beziehungen zwischen den Bildern einer Videosequenz. Bisherige Ansätze nutzen in der Regel präzise optische Flüsse, um diese zeitlichen Beziehungen auszunutzen, was jedoch mit hohem Rechenaufwand verbunden ist. In diesem Paper stellen wir ein Temporales Gedächtnis-Attention-Netzwerk (TMANet) vor, das auf Basis des Selbst-Attention-Mechanismus adaptiv langfristige zeitliche Beziehungen innerhalb einer Videosequenz integriert, ohne eine umfassende Vorhersage der optischen Flüsse durchzuführen. Insbesondere konstruieren wir ein Gedächtnis mittels mehrerer vorheriger Frames, um die zeitlichen Informationen des aktuellen Frames zu speichern. Anschließend schlagen wir ein temporales Gedächtnis-Attention-Modul vor, um die Beziehung zwischen dem aktuellen Frame und dem Gedächtnis zu erfassen und somit die Repräsentation des aktuellen Frames zu verbessern. Unsere Methode erreicht neue State-of-the-Art-Ergebnisse auf zwei anspruchsvollen Datensätzen zur semantischen Segmentierung von Videos, insbesondere 80,3 % mIoU auf Cityscapes und 76,5 % mIoU auf CamVid mit ResNet-50.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp