Adaptive Dimension Reduction and Variational Inference for Transductive Few-Shot Classification

Transductive Few-Shot-Lernen hat in letzter Zeit zunehmend an Aufmerksamkeit gewonnen, insbesondere aufgrund der hohen Kosten von Datenaufzeichnungen sowie der erhöhten Genauigkeit, die durch unbeschriftete Proben im Bereich des Few-Shot-Lernens erzielt werden kann. Insbesondere im Bereich des Few-Shot-Klassifikations (FSC) untersuchen aktuelle Ansätze die Merkmalsverteilungen, um die Likelihood oder die A-posteriori-Verteilung bezüglich der unbekannten Parameter zu maximieren. Folgend dieser Herangehensweise und unter Berücksichtigung der Analogie zwischen FSC und Clustering zielen wir darauf ab, die Unsicherheit bei der Schätzung aufgrund unzureichender Daten besser zu berücksichtigen sowie die statistischen Eigenschaften der Cluster, die jeweils einer Klasse zugeordnet sind, zu verbessern. Daher stellen wir in diesem Artikel eine neue Clustering-Methode vor, die auf der Variationalen Bayes-Inferenz basiert und durch adaptive Dimensionsreduktion mittels Probabilistischer Linearer Diskriminanzanalyse (PLDA) weiter verbessert wird. Unser vorgeschlagener Ansatz steigert die Genauigkeit signifikant in realistischen, unbalancierten transduktiven Szenarien auf verschiedenen Few-Shot-Benchmarks, wenn er auf Merkmale angewendet wird, die bereits in früheren Studien verwendet wurden – mit einer Genauigkeitssteigerung von bis zu 6 %. Zudem erzielen wir bei balancierten Szenarien sehr wettbewerbsfähige Ergebnisse, ohne auf den klassenbalancierten Artefakt zurückzugreifen, der für praktische Anwendungen umstritten ist. Außerdem präsentieren wir die Leistung unseres Verfahrens auf einem hochleistungsfähigen vortrainierten Backbone, wobei die gemeldeten Ergebnisse die aktuell beste Leistung übertreffen und somit die Allgemeingültigkeit des vorgeschlagenen Ansatzes unterstreichen.