Cut and Learn für die unüberwachte Objekterkennung und Instanzsegmentierung

Wir schlagen Cut-and-LEaRn (CutLER) vor, einen einfachen Ansatz zur Ausbildung von unüberwachten Objekterkennungs- und Segmentierungsmodellen. Wir nutzen die Eigenschaft selbstüberwachter Modelle, Objekte ohne Aufsicht zu 'entdecken', und verstärken diese, um ein Stand-des-Wissens-Lokalisierungsmodell ohne menschliche Etiketten zu trainieren. CutLER verwendet zunächst unseren vorgeschlagenen MaskCut-Ansatz, um grobe Masken für mehrere Objekte in einem Bild zu generieren, und lernt dann einen Detektor auf diesen Masken unter Verwendung unserer robusten Verlustfunktion. Wir verbessern die Leistung weiterhin durch Selbstausbildung des Modells auf seinen Vorhersagen. Im Vergleich zu früherer Arbeit ist CutLER einfacher, kompatibel mit verschiedenen Detektionsarchitekturen und erkennt mehrere Objekte. CutLER ist auch ein Zero-Shot-unüberwachter Detektor und verbessert die Erkennungsleistung AP50 um mehr als 2,7 Mal bei 11 Benchmarks in Bereichen wie Videobildern, Gemälden, Skizzen usw. Mit Feinabstimmung dient CutLER als Low-Shot-Detektor und übertrifft MoCo-v2 um 7,3 % APbox und 6,6 % APmask auf COCO bei der Ausbildung mit 5 % Etiketten.