BECLR: Batchverstärktes kontrastives Few-Shot-Lernen

Schnelles Lernen aus sehr wenigen etikettierten Stichproben ist eine grundlegende Eigenschaft, die Maschinen und Menschen im Zeitalter des tiefen Repräsentationslernens voneinander trennt. Unüberwachtes Few-Shot-Lernen (U-FSL) strebt an, diese Lücke zu schließen, indem es von der Abhängigkeit von Annotationen während des Trainings abkommt. Angeregt durch den Erfolg kontrastiver Lernansätze im Bereich des U-FSL, untersuchen wir strukturell ihre Mängel sowohl in der Vortrainings- als auch in der Downstream-Inferenzphase. Wir schlagen ein neuartiges Modul für dynamische clustergestütztes Gedächtnis (Dynamic Clustered mEmory, DyCE) vor, um einen hochtrennbaren latente Repräsentationsraum zu fördern, der das positive Sampling in der Vortrainingsphase verbessert und implizite Klassenebeneinsichten in das unüberwachte kontrastive Lernen einfließen lässt. Anschließend adressieren wir das oft übersehen却被忽视的问题（ somehow übersehen, aber kritisch ），即在少样本推理阶段的样本偏差问题。我们提出了一种基于迭代最优传输的分布对齐策略（iterative Optimal Transport-based distribution Alignment, OpTA），并证明它能有效解决该问题，特别是在少样本场景中，U-FSL方法最易受到样本偏差的影响。随后，我们讨论了DyCE和OpTA是新型端到端方法（我们称之为BECLR）中的两个相互关联的部分，它们建设性地放大了彼此的影响。接着，我们展示了一系列广泛的定量和定性实验，以证实BECLR在所有现有的U-FSL基准测试中（据我们所知）树立了新的最先进水平，并显著优于当前的最佳基线方法（代码库可在以下网址获取：https://github.com/stypoumic/BECLR）。为了更符合德语的表达习惯，以下是优化后的版本：Das schnelle Lernen aus sehr wenigen etikettierten Stichproben ist eine grundlegende Eigenschaft, die Maschinen und Menschen im Zeitalter des tiefen Repräsentationslernens voneinander unterscheidet. Unüberwachtes Few-Shot-Lernen (U-FSL) strebt an, diese Lücke zu schließen, indem es auf Annotationen während des Trainings verzichtet. Angeregt durch den Erfolg kontrastiver Lernverfahren im Bereich des U-FSL untersuchen wir strukturell deren Nachteile sowohl in der Vortrainings- als auch in der Downstream-Inferenzphase. Wir schlagen ein neuartiges Modul für dynamisches clustergestütztes Gedächtnis (Dynamic Clustered mEmory, DyCE) vor, um einen hochtrennbaren latenten Repräsentationsraum zu fördern. Dies verbessert das positive Sampling in der Vortrainingsphase und integriert implizite Klassenebeneinsichten in das unüberwachte kontrastive Lernen. Anschließend adressieren wir das oft übersehen, jedoch kritische Problem der Stichprobenvielfalt in der Few-Shot-Inferenzphase. Wir präsentieren eine iterativ optimale Transport-basierte Verteilungsanpassungsstrategie (iterative Optimal Transport-based distribution Alignment, OpTA) und zeigen nach, dass sie dieses Problem besonders effektiv löst – insbesondere in Low-Shot-Szenarien, wo U-FSL-Ansätze am stärksten unter Stichprobenvielfalt leiden. Später diskutieren wir, dass DyCE und OpTA zwei miteinander verbundene Teile eines neuen End-to-End-Ansatzes sind (den wir BECLR nennen), die sich gegenseitig verstärken. Schließlich präsentieren wir eine Reihe umfangreicher quantitativer und qualitativer Experimente, um zu belegen, dass BECLR einen neuen Stand der Technik auf ALLEN existierenden U-FSL-Benchmarks (nach bestem Wissen) darstellt und die besten aktuellen Baseline-Methoden erheblich übertreffen kann (Codebasis verfügbar unter: https://github.com/stypoumic/BECLR).