Kontrast mit Rekonstruktion: Kontrastives 3D-Repräsentationslernen, geleitet durch generatives Vortraining

Hauptströmliche Ansätze für das Lernen von 3D-Repräsentationen basieren auf kontrastiven oder generativen Modellierungs-Vorabaufgaben, bei denen erhebliche Leistungsverbesserungen in verschiedenen nachgelagerten Aufgaben erreicht wurden. Dennoch stellen wir fest, dass diese beiden Paradigmen unterschiedliche Eigenschaften haben: (i) Kontrastive Modelle sind datenhungrig und leiden unter einem Problem der Repräsentations-Überanpassung; (ii) Generative Modelle haben ein Daten-Füllproblem, das eine geringere Skalierungsfähigkeit im Vergleich zu kontrastiven Modellen zeigt. Dies motiviert uns, 3D-Repräsentationen durch den Austausch der Vorteile beider Paradigmen zu lernen, was aufgrund des Musters Unterschieds zwischen den beiden Paradigmen nicht trivial ist. In diesem Paper schlagen wir Contrast with Reconstruct (ReCon) vor, das diese beiden Paradigmen vereint. ReCon wird trainiert, sowohl von generativen Modellierungs-Lehrern als auch von ein- und mehrmodalen kontrastiven Lehrern durch Ensemble-Distillation zu lernen, wobei der generative Schüler den kontrastiven Schüler leitet. Ein encoder-decoder-stiliger ReCon-Block wird vorgeschlagen, der durch Kreuzaufmerksamkeit mit Stop-Gradient Wissen überträgt und so Überanpassung während des Vortrainings und Musterunterschiedsprobleme vermeidet. ReCon erreicht einen neuen Stand der Technik im Lernen von 3D-Repräsentationen, z.B. eine Genauigkeit von 91,26 % auf ScanObjectNN. Der Code wurde veröffentlicht unter https://github.com/qizekun/ReCon.