L'entropie n'est pas suffisante pour l'adaptation au moment du test : du point de vue des facteurs désentrelacés

L’adaptation au moment du test (Test-time adaptation, TTA) ajuste finement les réseaux neuronaux profonds pré-entraînés pour des données de test inédites. Le défi principal de la TTA réside dans l’accès limité à l’ensemble des données de test pendant les mises à jour en ligne, ce qui entraîne une accumulation d’erreurs. Pour atténuer ce problème, les méthodes TTA ont souvent recours à l’entropie des sorties du modèle comme métrique de confiance, visant à identifier les échantillons dont la probabilité d’engendrer une erreur est plus faible. Cependant, à travers des études expérimentales, nous avons observé que l’entropie s’avère peu fiable comme métrique de confiance dans des scénarios biaisés, et nous avons théoriquement montré que cela découle du fait que l’influence des facteurs latents désenchevêtrés des données sur les prédictions est négligée. À partir de ces constatations, nous proposons une nouvelle méthode TTA, nommée Destroy Your Object (DeYO), qui repose sur une nouvelle métrique de confiance, appelée Différence de Probabilité de Pseudo-étiquette (Pseudo-Label Probability Difference, PLPD). La PLPD quantifie l’impact de la forme d’un objet sur la prédiction en mesurant la différence entre les prédictions effectuées avant et après l’application d’une transformation destructrice de l’objet. DeYO intègre deux composantes : une sélection d’échantillons et un pondération des échantillons, qui exploitent simultanément l’entropie et la PLPD. Pour assurer une adaptation robuste, DeYO privilégie les échantillons dont les prédictions dépendent principalement de l’information de forme. Nos expérimentations étendues démontrent de manière cohérente l’infériorité de DeYO par rapport aux méthodes de référence dans divers scénarios, y compris ceux biaisés et réels. La page du projet est disponible publiquement à l’adresse suivante : https://whitesnowdrop.github.io/DeYO/.