HyperAIHyperAI

Command Palette

Search for a command to run...

PonderV2: Einen Weg für ein 3D-Grundmodell mit einem universellen Vortrainingsparadigma bahnen

Zusammenfassung

Im Gegensatz zu zahlreichen grundlegenden Modellen im Bereich der natürlichsprachlichen Verarbeitung (NLP) und der 2D-Bildverarbeitung stellen die Grundlagenmodelle für 3D-Daten erheblich größere Herausforderungen dar. Dies ist vor allem auf die inhärente Datenvariabilität und Vielfalt der nachgelagerten Aufgaben zurückzuführen. In dieser Arbeit stellen wir ein neues universelles Framework für die Vortrainierung von 3D-Modellen vor, das darauf abzielt, die Erstellung effizienter 3D-Repräsentationen zu erleichtern und somit einen Weg zu 3D-Grundlagenmodellen zu bahnen. Angesichts der Tatsache, dass informative 3D-Merkmale reiche geometrische und optische Hinweise kodieren sollten, die zur Erstellung realistischer Bilder genutzt werden können, schlagen wir vor, 3D-Repräsentationen durch differenzierbares neuronales Rendering zu lernen. Wir trainieren einen 3D-Kern mit einem entwickelten volumetrischen neuronalen Renderer, indem wir gerenderte Bilder mit realen Bildern vergleichen. Bemerkenswerterweise integriert unser Ansatz den gelernten 3D-Encoder nahtlos in verschiedene nachgelagerte Aufgaben. Diese Aufgaben umfassen nicht nur hochwertige Herausforderungen wie die 3D-Erkennung und -Segmentierung, sondern auch niedrigwertige Ziele wie die 3D-Rekonstruktion und Bildsynthese, sowohl in Innenraum- als auch in Außenszenarien. Darüber hinaus zeigen wir auch die Fähigkeit auf, einen 2D-Kern mithilfe der vorgeschlagenen Methodik vorzutrainieren, wobei unsere Methode konventionelle Vortrainierungsverfahren um ein großes Maß übertrifft. PonderV2 erreicht zum ersten Mal Spitzenleistungen bei elf Benchmarks für Innen- und Außenszenarien, was seine Effektivität unterstreicht. Der Quellcode und die Modelle sind unter https://github.com/OpenGVLab/PonderV2 verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp