TAFE-Net: Task-bewusste Merkmals Einbettungen für Low-Shot-Lernen

Das Lernen von guten Merkmals-Einbettungen für Bilder erfordert oft umfangreiche Trainingsdaten. Folglich müssen wir in Szenarien, in denen die Trainingsdaten begrenzt sind (z.B. Few-Shot- und Zero-Shot-Lernen), in der Regel eine generische Merkmals-Einbettung für verschiedene Aufgaben verwenden. Ideal wäre es, Merkmals-Einbettungen zu konstruieren, die auf die gegebene Aufgabe abgestimmt sind. In dieser Arbeit schlagen wir Task-Aware Feature Embedding Networks (TAFE-Nets) vor, um zu lernen, wie man die Bildrepräsentation auf eine neue Aufgabe im Meta-Lernverfahren anpasst. Unser Netzwerk besteht aus einem Meta-Lerner und einem Vorhersagenetzwerk. Basierend auf einer Aufgabeneingabe generiert der Meta-Lerner Parameter für die Merkmalschichten im Vorhersagenetzwerk, sodass die Merkmals-Einbettung präzise für diese Aufgabe angepasst werden kann. Wir zeigen, dass TAFE-Net hoch effektiv ist bei der Generalisierung auf neue Aufgaben oder Konzepte und evaluieren das TAFE-Net anhand einer Reihe von Benchmarks im Zero-Shot- und Few-Shot-Lernen. Unser Modell erreicht oder übertrifft den aktuellen Stand der Technik in allen Aufgaben. Insbesondere verbessert unser Ansatz die Vorhersagegenauigkeit von nicht gesehenen Attribut-Objekt-Paaren um 4 bis 15 Punkte bei der anspruchsvollen visuellen Attribut-Objekt-Kompositionsaufgabe.