Lernen von qualitativ bewusstem dynamischen Gedächtnis für die Segmentierung von Videoobjekten

Kürzlich haben mehrere räumlich-zeitliche Speicher-basierte Methoden bestätigt, dass das Speichern von Zwischenframes und deren Masken als Speicher hilfreich ist, um Zielobjekte in Videos zu segmentieren. Allerdings konzentrieren sie sich hauptsächlich auf eine bessere Übereinstimmung zwischen dem aktuellen Frame und den Speicherframes, ohne explizit auf die Qualität des Speichers zu achten. Daher sind Frames mit schlechten Segmentierungsmasken anfällig für das Memorieren, was zu einem Problem der Fehlerakkumulation bei den Segmentierungsmasken führt und die Segmentierungsleistung weiterhin beeinträchtigt. Zudem begrenzt die lineare Erhöhung der Anzahl der Speicherframes mit der Steigerung der Frameanzahl auch die Fähigkeit der Modelle, lange Videos zu verarbeiten. Aus diesem Grund schlagen wir ein Qualitätsbewusstes Dynamisches Speichernetzwerk (Quality-aware Dynamic Memory Network, QDMN) vor, um die Segmentierungsqualität jedes Frames zu bewerten. Dies ermöglicht es dem Speicherbank, selektiv genau segmentierte Frames zu speichern und das Problem der Fehlerakkumulation zu verhindern. Anschließend kombinieren wir die Segmentierungsqualität mit zeitlicher Konsistenz, um die Speicherbank dynamisch zu aktualisieren und die Praktikabilität der Modelle zu verbessern. Ohne jegliche zusätzliche Tricks erreicht unser QDMN neue Standarte in der Leistung auf den Benchmarks DAVIS und YouTube-VOS. Darüber hinaus zeigen umfangreiche Experimente, dass das vorgeschlagene Qualitätsbewertungsmodul (Quality Assessment Module, QAM) als generisches Plugin auf Speicher-basierte Methoden angewendet werden kann und die Leistung erheblich verbessert. Unser Quellcode ist unter https://github.com/workforai/QDMN verfügbar.