HyperAIHyperAI

Command Palette

Search for a command to run...

Gemeinsames induktives und transduktives Lernen für die Video-Objektsegmentierung

Yunyao Mao Ning Wang Wengang Zhou Houqiang Li

Zusammenfassung

Die semi-supervised Video-Object-Segmentation ist eine Aufgabe, bei der das Zielobjekt in einer Videosequenz segmentiert werden muss, wobei lediglich eine Maskenannotation im ersten Frame gegeben ist. Die begrenzte Verfügbarkeit an Informationen macht diese Aufgabe äußerst herausfordernd. Die meisten bisher besten Methoden basieren entweder auf matching-basierten transduktiven Schlussfolgerungen oder auf online-induktivem Lernen. Dennoch sind sie entweder weniger diskriminativ bei ähnlichen Objekten oder nutzen die räumlich-zeitlichen Informationen unzureichend aus. In dieser Arbeit schlagen wir vor, transduktives und induktives Lernen in einem einheitlichen Rahmen zu integrieren, um deren Ergänzungseigenschaften für eine genaue und robuste Video-Object-Segmentation auszunutzen. Der vorgeschlagene Ansatz besteht aus zwei funktionalen Zweigen. Der Transduktionszweig verwendet eine leichtgewichtige Transformer-Architektur, um reichhaltige räumlich-zeitliche Hinweise zu aggregieren, während der Induktionszweig online-induktives Lernen durchführt, um diskriminative Zielinformationen zu erlangen. Um diese beiden unterschiedlichen Zweige zu verbinden, wird ein zweiköpfiger Label-Encoder eingeführt, der die jeweils geeigneten Vorkenntnisse für jeden Zweig lernt. Die generierten Masken-Codierungen werden zudem dazu gezwungen, entkoppelt zu werden, um ihre Ergänzungseigenschaften besser zu bewahren. Umfangreiche Experimente auf mehreren etablierten Benchmarks zeigen, dass der vorgeschlagene Ansatz, ohne synthetische Trainingsdaten zu benötigen, eine Reihe neuer SOTA (State-of-the-Art)-Rekorde erzielt. Der Quellcode ist unter https://github.com/maoyunyao/JOINT verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Gemeinsames induktives und transduktives Lernen für die Video-Objektsegmentierung | Paper | HyperAI