HyperAIHyperAI

Command Palette

Search for a command to run...

Ähnlichkeitsbewusste Fusionsnetzwerk für die 3D-Semantische Segmentierung

Linqing Zhao Jiwen Lu Jie Zhou

Zusammenfassung

In diesem Paper stellen wir ein similarity-aware Fusion-Netzwerk (SAFNet) vor, das adaptiv 2D-Bilder und 3D-Punktwolken für die 3D-semantische Segmentierung fusioniert. Bestehende, auf Fusion basierende Methoden erreichen beachtliche Leistungen durch die Integration von Informationen aus mehreren Modalitäten. Allerdings beruhen sie stark auf der Korrespondenz zwischen 2D-Pixeln und 3D-Punkten, die durch Projektion hergestellt wird, und können die Informationsfusion nur in einer festen Weise durchführen. Dadurch sind ihre Leistungen schwer auf realistischere Szenarien übertragbar, in denen die gesammelten Daten oft fehlende, strenge Paarbeziehungen für die Vorhersage aufweisen. Um dies zu lösen, setzen wir eine späte Fusion-Strategie ein, bei der wir zunächst die geometrische und kontextuelle Ähnlichkeit zwischen den Eingabepunktwolken und den zurückprojizierten (aus 2D-Pixeln) Punktwolken lernen und diese zur Steuerung der Fusion beider Modalitäten nutzen, um ergänzende Informationen weiter auszunutzen. Konkret verwenden wir ein geometrisches Ähnlichkeitsmodul (GSM), das die räumlichen Koordinatverteilungen von Paaren von 3D-Nachbarschaften direkt vergleicht, sowie ein kontextuelles Ähnlichkeitsmodul (CSM), das die räumlichen Kontextinformationen entsprechender zentraler Punkte aggregiert und vergleicht. Die beiden vorgeschlagenen Module ermöglichen es, effektiv zu messen, inwieweit Bilddaten zur Vorhersage beitragen, wodurch das Netzwerk die Beiträge beider Modalitäten zur endgültigen Vorhersage jedes Punkts adaptiv anpassen kann. Experimentelle Ergebnisse auf der ScanNetV2-Benchmark zeigen, dass SAFNet bestehende state-of-the-art-Fusionsansätze signifikant bei verschiedenen Grad der Datenintegrität übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp