Transferieren und Regularisieren der Vorhersage für die semantische Segmentierung

Die semantische Segmentierung erfordert oft eine große Anzahl von Bildern mit pixelgenauen Annotationen. Angesichts der extrem hohen Kosten für Expertenannotationen hat jüngste Forschung gezeigt, dass Modelle, die auf foto-realistischen synthetischen Daten (z. B. Computerspielen) mit computererzeugten Annotationen trainiert wurden, an reale Bilder angepasst werden können. Trotz dieser Fortschritte neigen Modelle ohne Einschränkung der Vorhersagen auf realen Bildern leicht zu Überanpassung an synthetische Daten aufgrund einer starken Domänenabweichung. In diesem Paper nutzen wir neuartig die inhärenten Eigenschaften der semantischen Segmentierung, um dieses Problem bei der Modellübertragung zu mildern. Konkret präsentieren wir einen Regularisierer für die Vorhersageübertragung (Regularizer of Prediction Transfer, RPT), der diese inhärenten Eigenschaften als Einschränkungen nutzt, um die Modellübertragung im unsupervised-Modus zu regularisieren. Diese Einschränkungen umfassen Konsistenzen der semantischen Vorhersage auf Patch-, Cluster- und Kontextebene auf verschiedenen Ebenen der Bildentstehung. Da die Übertragung kennzeichnungsfrei und datengetrieben erfolgt, wird die Robustheit der Vorhersage durch gezielte Involvierung einer Teilmenge von Bildregionen zur Modellregularisierung adressiert. Um die Wirksamkeit von RPT zu überprüfen, wurden umfangreiche Experimente durchgeführt, bei denen Modelle, die auf den synthetischen Datensätzen GTA5 und SYNTHIA trainiert wurden, auf den Cityscapes-Datensatz (städtische Straßenansichten) übertragen wurden. RPT zeigt konsistente Verbesserungen, wenn die Einschränkungen in verschiedene neuronale Netzwerke für die semantische Segmentierung integriert werden. Besonders bemerkenswert ist, dass die Integration von RPT in einen adversarial-basierten Segmentierungsrahmen zu den derzeit besten Ergebnissen führt: mIoU-Werte von 53,2 %/51,7 %, jeweils bei der Übertragung von GTA5/SYNTHIA nach Cityscapes.