LabelDistill: Label-gesteuerte Cross-modale Wissensverdistillierung für kamerabasierte 3D-Objekterkennung

Neuere Fortschritte bei der kamerabasierten 3D-Objekterkennung haben die cross-modale Wissensdistillation eingeführt, um die Leistungsunterschiede zu LiDAR-basierten 3D-Detektoren zu verringern. Dabei wird die präzise geometrische Information in LiDAR-Punktwolken genutzt. Dennoch neigen bestehende Methoden der cross-modalen Wissensdistillation dazu, die inhärenten Unvollkommenheiten von LiDAR, wie die Unsicherheit bei Messungen an fernen oder verdeckten Objekten, auf den Bildendetektor zu übertragen. Um diese Unvollkommenheiten des LiDAR-Lehrers zu mildern, schlagen wir eine neuartige Methode vor, die aleatorische unsicherheitsfreie Merkmale aus Ground-Truth-Labels nutzt. Im Gegensatz zu herkömmlichen Label-Guidance-Ansätzen approximieren wir die inverse Funktion des Lehrer-Heads, um Label-Eingaben effektiv in den Merkmalsraum einzuordnen. Dieses Vorgehen bietet zusätzliche präzise Anleitung neben dem LiDAR-Lehrer und verbessert somit die Leistung des Bildendetektors. Darüber hinaus führen wir eine Merkmalspartitionierung ein, die das Wissen vom Lehrermodus effektiv überträgt, während sie gleichzeitig die charakteristischen Merkmale des Schülers bewahrt und so das Potenzial beider Modi maximiert. Experimentelle Ergebnisse zeigen, dass unser Ansatz im Vergleich zum Basismodell mAP und NDS um 5,1 Punkte und 4,9 Punkte verbessert, was die Effektivität unserer Methode beweist. Der Code ist unter https://github.com/sanmin0312/LabelDistill verfügbar.