HyperShot: Few-Shot Lernen durch Kernel-HyperNetworks

Few-shot-Modelle zielen darauf ab, Vorhersagen mit einer minimalen Anzahl an gelabelten Beispielen aus einer gegebenen Aufgabe zu treffen. Die zentrale Herausforderung in diesem Bereich stellt die One-shot-Situation dar, bei der jeweils nur ein einziger Datensatz pro Klasse zur Verfügung steht. Wir stellen HyperShot vor – eine Fusion aus Kernel-Methoden und Hypernetwork-Paradigma. Im Gegensatz zu Referenzansätzen, die eine gradientenbasierte Anpassung der Modellparameter vornehmen, zielt unser Ansatz darauf ab, die Parameter des Klassifikationsmoduls je nach Embedding der jeweiligen Aufgabe dynamisch zu wechseln. Praktisch nutzen wir eine Hypernetwork, die die aggregierte Information aus den Support-Daten aufnimmt und die für das jeweilige Problem spezifisch angepassten Parameter des Klassifikators zurückgibt. Zudem führen wir eine kernelbasierte Darstellung der Support-Beispiele ein, die an die Hypernetwork geliefert wird, um die Parameter des Klassifikationsmoduls zu generieren. Dadurch beruhen wir nicht mehr auf den direkten Merkmalswerten, die von den Backbone-Modellen bereitgestellt werden, sondern auf den Beziehungen zwischen den Embeddings der Support-Beispiele. Durch diesen Ansatz ist es unserem Modell möglich, sich an äußerst unterschiedliche Aufgaben anzupassen.