HyperAIHyperAI

Command Palette

Search for a command to run...

Kontrast mit Rekonstruktion: Kontrastives 3D-Repräsentationslernen, geleitet durch generatives Vortraining

Zekun Qi†1 Runpei Dong†1 ♠ Guofan Fan1 Zheng Ge2 Xiangyu Zhang2 Kaisheng Ma3 Li Yi3

Zusammenfassung

Hauptströmliche Ansätze für das Lernen von 3D-Repräsentationen basieren auf kontrastiven oder generativen Modellierungs-Vorabaufgaben, bei denen erhebliche Leistungsverbesserungen in verschiedenen nachgelagerten Aufgaben erreicht wurden. Dennoch stellen wir fest, dass diese beiden Paradigmen unterschiedliche Eigenschaften haben: (i) Kontrastive Modelle sind datenhungrig und leiden unter einem Problem der Repräsentations-Überanpassung; (ii) Generative Modelle haben ein Daten-Füllproblem, das eine geringere Skalierungsfähigkeit im Vergleich zu kontrastiven Modellen zeigt. Dies motiviert uns, 3D-Repräsentationen durch den Austausch der Vorteile beider Paradigmen zu lernen, was aufgrund des Musters Unterschieds zwischen den beiden Paradigmen nicht trivial ist. In diesem Paper schlagen wir Contrast with Reconstruct (ReCon) vor, das diese beiden Paradigmen vereint. ReCon wird trainiert, sowohl von generativen Modellierungs-Lehrern als auch von ein- und mehrmodalen kontrastiven Lehrern durch Ensemble-Distillation zu lernen, wobei der generative Schüler den kontrastiven Schüler leitet. Ein encoder-decoder-stiliger ReCon-Block wird vorgeschlagen, der durch Kreuzaufmerksamkeit mit Stop-Gradient Wissen überträgt und so Überanpassung während des Vortrainings und Musterunterschiedsprobleme vermeidet. ReCon erreicht einen neuen Stand der Technik im Lernen von 3D-Repräsentationen, z.B. eine Genauigkeit von 91,26 % auf ScanObjectNN. Der Code wurde veröffentlicht unter https://github.com/qizekun/ReCon.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp