Apprentissage de la généralisation à travers des domaines à partir d’échantillons de test uniques

Nous nous efforçons d’apprendre un modèle à partir d’un ensemble de domaines sources afin qu’il se généralise efficacement à des domaines cibles inconnus. Le défi principal dans ce cadre de généralisation de domaine réside dans l’absence de données provenant des domaines cibles pendant l’entraînement, ce qui empêche le modèle appris d’être explicitement adapté aux domaines cibles non vus. Nous proposons d’apprendre à généraliser entre domaines à partir d’un unique échantillon de test. Nous exploitons un cadre d’apprentissage métadonnées afin d’entraîner notre modèle à acquérir la capacité d’adaptation à partir d’un seul échantillon pendant l’entraînement, de sorte qu’il puisse s’adapter lui-même à chaque échantillon de test unique au moment du test. Nous formulons l’adaptation à un unique échantillon de test comme un problème d’inférence bayésienne variationnelle, intégrant l’échantillon de test comme une condition dans la génération des paramètres du modèle. Cette adaptation à chaque échantillon de test ne nécessite qu’une seule propagation avant au moment du test, sans aucune mise à jour fine (fine-tuning) ni entraînement auto-supervisé sur des données supplémentaires provenant des domaines inconnus. Des études d’ablation étendues démontrent que notre modèle apprend effectivement la capacité d’adapter le modèle à chaque échantillon individuel en mimant les décalages de domaine pendant l’entraînement. En outre, notre modèle atteint des performances au moins comparables — et souvent supérieures — à celles des méthodes de pointe sur plusieurs benchmarks de généralisation de domaine.