Testzeit-Anpassung vs. Trainingszeit-Generalisierung: Eine Fallstudie zur Instanzsegmentierung von Menschen mit Hilfe von Keypoints-Schätzung

Wir betrachten das Problem der Verbesserung der Qualität von Segmentierungsmasken für menschliche Instanzen in einem gegebenen Testbild durch die Schätzung von Keypoints. Wir vergleichen zwei alternative Ansätze. Der erste Ansatz ist eine Testzeit-Adaptionsmethode (TTA), bei der wir die Modifikation der Gewichte des Segmentierungsnetzwerks während der Testzeit mithilfe eines einzelnen nicht gekennzeichneten Testbildes zulassen. In diesem Ansatz gehen wir nicht davon aus, dass während der Testzeit auf das gekennzeichnete Quelldatenset zugegriffen werden kann. Genauer gesagt besteht unsere TTA-Methode darin, die Keypoint-Schätzungen als Pseudolabels zu verwenden und diese zurückzupropagieren, um die Backbone-Gewichte anzupassen. Der zweite Ansatz ist eine Trainingszeit-Generalisierungsmethode (TTG), bei der wir den Offline-Zugriff auf das gekennzeichnete Quelldatenset erlauben, aber keine Modifikation der Gewichte während der Testzeit. Darüber hinaus gehen wir nicht davon aus, dass Bilder oder Wissen über das Zielgebiet verfügbar sind. Unsere TTG-Methode besteht darin, die Backbone-Features mit den von der Keypoint-Kopf generierten Features zu erweitern und den aggregierten Vektor an den Maskenkopf weiterzuleiten. Durch eine umfassende Reihe von Abstraktionen evaluieren wir beide Ansätze und identifizieren mehrere Faktoren, die die TTA-Vorteile begrenzen. Insbesondere zeigen wir, dass im Falle eines geringen Domänenverschiebungs TTA schaden und TTG nur kleine Leistungsverbesserungen zeigen können, während bei einer großen Domänenverschiebung die TTA-Vorteile kleiner und abhängig von den verwendeten Heuristiken sind, während die TTG-Vorteile größer und robust gegenüber architektonischen Entscheidungen sind.