Lernen der Generalisierung über Domänen hinweg anhand einzelner Testbeispiele

Wir streben danach, ein Modell aus einer Menge von Quellbereichen zu lernen, das gut auf nicht gesehene Zielbereiche generalisiert. Die zentrale Herausforderung in einer solchen Szenario der Domänenverallgemeinerung besteht darin, dass während des Trainings keine Daten aus dem Zielbereich verfügbar sind, was dazu führt, dass das gelernte Modell nicht explizit an die nicht gesehenen Zielbereiche angepasst wird. Wir schlagen vor, das Generalisieren über Domänen anhand einzelner Testbeispiele zu lernen. Dabei nutzen wir einen Meta-Lernansatz, um unser Modell so zu trainieren, dass es während des Trainings die Fähigkeit zur Anpassung an einzelne Beispiele erlangt, um sich im Testzeitpunkt dann weiter an jedes einzelne Testbeispiel anzupassen. Die Anpassung an ein einzelnes Testbeispiel formulieren wir als ein variational Bayes-Inferenzproblem, wobei das Testbeispiel als Bedingung in die Generierung der Modellparameter integriert wird. Die Anpassung an jedes Testbeispiel erfordert lediglich eine einzige Vorwärtsberechnung im Testzeitpunkt, ohne jegliche Feinabstimmung oder selbstüberwachte Trainingsphase auf zusätzlichen Daten aus den nicht gesehenen Bereichen. Ausführliche Ablationsstudien zeigen, dass unser Modell die Fähigkeit erlernt, Modelle an jedes einzelne Beispiel anzupassen, indem es während des Trainings Domänenverschiebungen nachahmt. Darüber hinaus erreicht unser Modell auf mehreren Benchmark-Datenbanken für Domänenverallgemeinerung mindestens vergleichbare – und häufig sogar bessere – Ergebnisse als aktuelle State-of-the-Art-Methoden.