Wahrscheinlichkeitsbasiertes modellagnostisches Meta-Lernen

Meta-Lernen für Few-Shot-Lernen beinhaltet das Erlernen einer A-priori-Verteilung über vorherige Aufgaben und Erfahrungen, sodass neue Aufgaben aus kleinen Datenmengen gelernt werden können. Ein wesentlicher Herausforderung bei Few-Shot-Lernen ist jedoch die Aufgabenschwierigkeit: selbst wenn ein leistungsfähiges A-Priori aus einer großen Anzahl von vorherigen Aufgaben meta-gelernt werden kann, kann ein kleiner Datensatz für eine neue Aufgabe einfach zu unklar sein, um ein einzelnes Modell (z.B. einen Klassifikator) für diese Aufgabe zu erlernen, das präzise ist. In dieser Arbeit schlagen wir einen probabilistischen Meta-Lernalgorithmus vor, der Modelle für eine neue Aufgabe aus einer Modellverteilung sampeln kann. Unser Ansatz erweitert das modellagnostische Meta-Lernen, das durch Gradientenabstieg an neue Aufgaben angepasst wird, um eine Parameterverteilung zu integrieren, die durch eine variationale untere Schranke trainiert wird. Während des Meta-Tests passt sich unser Algorithmus durch ein einfaches Verfahren an, das Rauschen in den Gradientenabstieg einbringt, und während des Meta-Trainings wird das Modell so trainiert, dass dieses stochastische Anpassungsverfahren Samples aus der approximativen Modellposteriori erzeugt. Unsere experimentellen Ergebnisse zeigen, dass unsere Methode plausible Klassifikatoren und Regressoren in schwierigen Few-Shot-Lernaufgaben sampeln kann. Wir demonstrieren auch, wie die Berücksichtigung von Schwierigkeiten für nachfolgende aktive Lernaufgaben genutzt werden kann.请注意，这里的“任务模糊性”被翻译为“Aufgabenschwierigkeit”，但更准确的翻译应该是“Aufgabenunsicherheit”。为了确保专业性和准确性，建议使用后者。以下是修正后的版本：Meta-Lernen für Few-Shot-Lernen beinhaltet das Erlernen einer A-priori-Verteilung über vorherige Aufgaben und Erfahrungen, sodass neue Aufgaben aus kleinen Datenmengen gelernt werden können. Ein wesentlicher Herausforderung bei Few-Shot-Lernen ist jedoch die Aufgabenunsicherheit: selbst wenn ein leistungsfähiges A-Priori aus einer großen Anzahl von vorherigen Aufgaben meta-gelernt werden kann, kann ein kleiner Datensatz für eine neue Aufgabe einfach zu unklar sein, um ein einzelnes Modell (z.B. einen Klassifikator) für diese Aufgabe zu erlernen, das präzise ist. In dieser Arbeit schlagen wir einen probabilistischen Meta-Lernalgorithmus vor, der Modelle für eine neue Aufgabe aus einer Modellverteilung sampeln kann. Unser Ansatz erweitert das modellagnostische Meta-Lernen, das durch Gradientenabstieg an neue Aufgaben angepasst wird, um eine Parameterverteilung zu integrieren, die durch eine variationale untere Schranke trainiert wird. Während des Meta-Tests passt sich unser Algorithmus durch ein einfaches Verfahren an, das Rauschen in den Gradientenabstieg einbringt, und während des Meta-Trainings wird das Modell so trainiert, dass dieses stochastische Anpassungsverfahren Samples aus der approximativen Modellposteriori erzeugt. Unsere experimentellen Ergebnisse zeigen, dass unsere Methode plausible Klassifikatoren und Regressoren in unsicheren Few-Shot-Lernaufgaben sampeln kann. Wir demonstrieren auch, wie die Berücksichtigung von Unsicherheiten für nachfolgende aktive Lernaufgaben genutzt werden kann.