Entropie reicht nicht aus für Test-Time Adaptation: Aus Sicht entkoppelter Faktoren

Test-Time Adaptation (TTA) feintunt die vortrainierten tiefen neuronalen Netze an unerwartete Testdaten an. Die zentrale Herausforderung von TTA liegt in der begrenzten Verfügbarkeit des gesamten Testdatensatzes während der Online-Updates, was zu einer akkumulierenden Fehlerentwicklung führen kann. Um dies zu verringern, nutzen TTA-Methoden die Entropie der Modellausgabe als Vertrauensmaß, das darauf abzielt, festzustellen, welche Samples eine geringere Wahrscheinlichkeit haben, Fehler zu verursachen. Durch experimentelle Untersuchungen konnten wir jedoch die Unzuverlässigkeit der Entropie als Vertrauensmaß für TTA unter verzerrten Szenarien beobachten und theoretisch aufzeigen, dass dies darauf zurückzuführen ist, dass der Einfluss latenter, entkoppelter Datenfaktoren auf die Vorhersagen vernachlässigt wird. Aufbauend auf diesen Erkenntnissen präsentieren wir eine neuartige TTA-Methode namens Destroy Your Object (DeYO), die ein neu vorgeschlagenes Vertrauensmaß namens Pseudo-Label Probability Difference (PLPD) nutzt. PLPD quantifiziert den Einfluss der Form eines Objekts auf die Vorhersage, indem sie die Differenz zwischen den Vorhersagen vor und nach Anwendung einer objektdestruktiven Transformation misst. DeYO besteht aus zwei Komponenten: der Stichprobenauswahl und der Stichprobengewichtung, die Entropie und PLPD gleichzeitig nutzen. Für eine robuste Anpassung priorisiert DeYO jene Stichproben, die bei der Vorhersage überwiegend Informationen zur Form des Objekts enthalten. Unsere umfangreichen Experimente belegen die konsistente Überlegenheit von DeYO gegenüber Baseline-Methoden in verschiedenen Szenarien, einschließlich verzerrter und realitätsnaher (wild) Umgebungen. Die Projektseite ist öffentlich unter https://whitesnowdrop.github.io/DeYO/ verfügbar.