HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen von qualitativ bewusstem dynamischen Gedächtnis für die Segmentierung von Videoobjekten

Yong Liu Ran Yu Fei Yin Xinyuan Zhao Wei Zhao Weihao Xia Yujiu Yang

Zusammenfassung

Kürzlich haben mehrere räumlich-zeitliche Speicher-basierte Methoden bestätigt, dass das Speichern von Zwischenframes und deren Masken als Speicher hilfreich ist, um Zielobjekte in Videos zu segmentieren. Allerdings konzentrieren sie sich hauptsächlich auf eine bessere Übereinstimmung zwischen dem aktuellen Frame und den Speicherframes, ohne explizit auf die Qualität des Speichers zu achten. Daher sind Frames mit schlechten Segmentierungsmasken anfällig für das Memorieren, was zu einem Problem der Fehlerakkumulation bei den Segmentierungsmasken führt und die Segmentierungsleistung weiterhin beeinträchtigt. Zudem begrenzt die lineare Erhöhung der Anzahl der Speicherframes mit der Steigerung der Frameanzahl auch die Fähigkeit der Modelle, lange Videos zu verarbeiten. Aus diesem Grund schlagen wir ein Qualitätsbewusstes Dynamisches Speichernetzwerk (Quality-aware Dynamic Memory Network, QDMN) vor, um die Segmentierungsqualität jedes Frames zu bewerten. Dies ermöglicht es dem Speicherbank, selektiv genau segmentierte Frames zu speichern und das Problem der Fehlerakkumulation zu verhindern. Anschließend kombinieren wir die Segmentierungsqualität mit zeitlicher Konsistenz, um die Speicherbank dynamisch zu aktualisieren und die Praktikabilität der Modelle zu verbessern. Ohne jegliche zusätzliche Tricks erreicht unser QDMN neue Standarte in der Leistung auf den Benchmarks DAVIS und YouTube-VOS. Darüber hinaus zeigen umfangreiche Experimente, dass das vorgeschlagene Qualitätsbewertungsmodul (Quality Assessment Module, QAM) als generisches Plugin auf Speicher-basierte Methoden angewendet werden kann und die Leistung erheblich verbessert. Unser Quellcode ist unter https://github.com/workforai/QDMN verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Lernen von qualitativ bewusstem dynamischen Gedächtnis für die Segmentierung von Videoobjekten | Paper | HyperAI