$n$-Referenz-Transfer-Lernen für die Vorhersage von Aufmerksamkeitsfokussierung

Dank der Forschung im Bereich des tiefen Lernens und großer Datensätze wurde die Vorhersage von Salienzkarten in den letzten zehn Jahren erheblichen Erfolg gezielt. Allerdings bleibt es weiterhin herausfordernd, Salienzkarten auf Bildern in neuen Domänen vorherzusagen, für die nicht genügend Daten vorhanden sind, um datenhungrige Modelle zu trainieren. Um dieses Problem zu lösen, schlagen wir ein Few-Shot-Transfer-Lernen-Paradigma für die Salienzvorhersage vor, das eine effiziente Übertragung von Wissen ermöglicht, das aus bereits existierenden großen Salienzdatensätzen gelernt wurde, auf ein Zielgebiet mit begrenzten annotierten Beispielen. Insbesondere werden sehr wenige Beispiele des Zielgebiets als Referenz verwendet, um ein Modell mit einem Quelldatensatz zu trainieren, so dass der Trainingsprozess zu einem lokalen Minimum konvergiert, das dem Zielgebiet zugutekommt. Anschließend wird das gelernte Modell mit der Referenz weiter angepasst. Das vorgeschlagene Framework ist gradientenbasiert und modellagnostisch. Wir führen umfassende Experimente und einen Abstraktionsvergleich (Ablation Study) an verschiedenen Quelldomänen- und Zielgebietspaaren durch. Die Ergebnisse zeigen, dass das vorgeschlagene Framework eine erhebliche Leistungsverbesserung erreicht. Der Code ist öffentlich verfügbar unter \url{https://github.com/luoyan407/n-reference}.