HyperAIHyperAI

Command Palette

Search for a command to run...

Transferieren und Regularisieren der Vorhersage für die semantische Segmentierung

Yiheng Zhang Zhaofan Qiu Ting Yao Chong-Wah Ngo Dong Liu Tao Mei

Zusammenfassung

Die semantische Segmentierung erfordert oft eine große Anzahl von Bildern mit pixelgenauen Annotationen. Angesichts der extrem hohen Kosten für Expertenannotationen hat jüngste Forschung gezeigt, dass Modelle, die auf foto-realistischen synthetischen Daten (z. B. Computerspielen) mit computererzeugten Annotationen trainiert wurden, an reale Bilder angepasst werden können. Trotz dieser Fortschritte neigen Modelle ohne Einschränkung der Vorhersagen auf realen Bildern leicht zu Überanpassung an synthetische Daten aufgrund einer starken Domänenabweichung. In diesem Paper nutzen wir neuartig die inhärenten Eigenschaften der semantischen Segmentierung, um dieses Problem bei der Modellübertragung zu mildern. Konkret präsentieren wir einen Regularisierer für die Vorhersageübertragung (Regularizer of Prediction Transfer, RPT), der diese inhärenten Eigenschaften als Einschränkungen nutzt, um die Modellübertragung im unsupervised-Modus zu regularisieren. Diese Einschränkungen umfassen Konsistenzen der semantischen Vorhersage auf Patch-, Cluster- und Kontextebene auf verschiedenen Ebenen der Bildentstehung. Da die Übertragung kennzeichnungsfrei und datengetrieben erfolgt, wird die Robustheit der Vorhersage durch gezielte Involvierung einer Teilmenge von Bildregionen zur Modellregularisierung adressiert. Um die Wirksamkeit von RPT zu überprüfen, wurden umfangreiche Experimente durchgeführt, bei denen Modelle, die auf den synthetischen Datensätzen GTA5 und SYNTHIA trainiert wurden, auf den Cityscapes-Datensatz (städtische Straßenansichten) übertragen wurden. RPT zeigt konsistente Verbesserungen, wenn die Einschränkungen in verschiedene neuronale Netzwerke für die semantische Segmentierung integriert werden. Besonders bemerkenswert ist, dass die Integration von RPT in einen adversarial-basierten Segmentierungsrahmen zu den derzeit besten Ergebnissen führt: mIoU-Werte von 53,2 %/51,7 %, jeweils bei der Übertragung von GTA5/SYNTHIA nach Cityscapes.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Transferieren und Regularisieren der Vorhersage für die semantische Segmentierung | Paper | HyperAI