Semantische Selbstanpassung: Verbesserung der Generalisierung mit einer einzigen Probe

Der Mangel an Generalisierung auf außerhalb des Domänenbereichs liegende Daten stellt eine kritische Schwäche tiefer Netzwerke für die semantische Segmentierung dar. Bisherige Studien basierten auf der Annahme eines statischen Modells, d. h., sobald der Trainingsprozess abgeschlossen ist, bleiben die Modellparameter während der Inferenzzeit unverändert. In dieser Arbeit stellen wir diese Annahme mit einem selbstadaptiven Ansatz für die semantische Segmentierung in Frage, der den Inferenzprozess an jedes Eingabebild anpasst. Die Selbstadaptation erfolgt auf zwei Ebenen. Erstens feinjustiert sie die Parameter der Faltungs-Schichten an das Eingabebild mittels Konsistenz-Regularisierung. Zweitens interpoliert die Selbstadaptation in den Batch-Normalisierungs-Schichten zwischen der Trainingsverteilung und der Referenzverteilung, die aus einem einzigen Testbild abgeleitet wird. Obwohl beide Techniken in der Literatur bereits gut etabliert sind, erreicht ihre Kombination neue SOTA-(State-of-the-Art)-Genauigkeiten auf Benchmarks für die Generalisierung von synthetischen auf reale Daten. Unsere empirische Studie legt nahe, dass die Selbstadaptation die etablierte Praxis der Modell-Regularisierung während des Trainings ergänzen könnte, um die Generalisierung tiefer Netzwerke auf außerhalb des Domänenbereichs liegende Daten zu verbessern. Unser Code und vortrainierte Modelle sind unter https://github.com/visinf/self-adaptive verfügbar.