Bayesian Meta-Learning für die Few-Shot-Situation mittels tiefer Kerne

Kürzlich wurden verschiedene maschinelle Lernmethoden vorgestellt, um die herausfordernde Few-Shot-Lern-Situation zu bewältigen, bei der aus einem kleinen, beschrifteten Datensatz zu einer spezifischen Aufgabe gelernt wird. Übliche Ansätze folgen dem Paradigma des Meta-Lernens: Lernen, wie man auf ein neues Problem lernt, basierend auf vorherigen Erfahrungen. Angesichts der Erkenntnis, dass Meta-Lernen die Implementierung von Lernen in einem mehrstufigen Modell darstellt, präsentieren wir eine bayessche Behandlung des Inner Loops des Meta-Lernens mittels tiefer Kerne. Dadurch können wir einen Kern lernen, der auf neue Aufgaben übertragbar ist; wir bezeichnen diesen Ansatz als Deep Kernel Transfer (DKT). Dieser Ansatz bietet mehrere Vorteile: Er ist einfach zu implementieren, benötigt lediglich einen einzigen Optimierer, ermöglicht die Quantifizierung von Unsicherheiten und erfordert keine Schätzung von aufgabe-spezifischen Parametern. Empirisch zeigen wir, dass DKT mehrere state-of-the-art-Algorithmen im Few-Shot-Klassifikationsbereich übertrifft und die derzeit beste Leistung bei der cross-domain-Adaptation und Regression erzielt. Wir schlussfolgern, dass komplexe Meta-Lern-Routinen durch ein einfacheres bayessches Modell ersetzt werden können, ohne dass die Genauigkeit verloren geht.