Menschen müssen nicht mehr Menschen etikettieren: Occlusion Copy & Paste für die Instanzsegmentierung von verdeckten Menschen

Moderne Objekterkennungs- und Instanzsegmentierungsnetze stolpern bei der Identifizierung von Menschen in dicht besetzten oder stark verdeckten Szenen. Dennoch sind dies oft die Situationen, in denen wir von unseren Detektoren eine gute Leistung erwarten. Viele Arbeiten haben dieses Problem mit modellzentrierten Verbesserungen angegangen. Obwohl sie bis zu einem gewissen Grad erfolgreich waren, benötigen diese überwachten Methoden immer noch ausreichend relevante Beispiele (z.B. verdeckte Menschen) während des Trainings, um die Verbesserungen zu maximieren. In unserer Arbeit schlagen wir einen einfachen, aber effektiven datenzentrierten Ansatz vor: Occlusion Copy & Paste, um während des Trainings verdeckte Beispiele den Modellen vorzustellen – wir passen den allgemeinen Copy & Paste-Augmentationsansatz an, um das schwierige Problem der Verdeckung innerhalb der gleichen Klasse anzugehen. Dies verbessert die Instanzsegmentierung auf verdeckten Szenarien „kostenlos“, indem es lediglich große bestehende Datensätze nutzt, ohne zusätzliche Daten oder manuelle Annotationen erforderlich zu sein. In einer gründlichen Studie zeigen wir, ob verschiedene vorgeschlagene Erweiterungen des Copy & Paste-Augmentations tatsächlich zur besseren Leistung beitragen. Unsere Occlusion Copy & Paste-Augmentation ist leicht mit jedem Modell kompatibel: Durch ihre einfache Anwendung auf ein neues generisches Instanzsegmentierungsmodell ohne explizite architektonische Anpassungen zur Bewältigung von Verdeckungen erreichen wir den Stand der Technik in der Instanzsegmentierung auf dem sehr anspruchsvollen OCHuman-Datensatz. Der Quellcode ist unter https://github.com/levan92/occlusion-copy-paste verfügbar.