Unüberwachte Punktwolken-Vortraining durch Okklusionsvervollständigung

Wir beschreiben einen einfachen Vortrainingsansatz für Punktwolken. Dieser Ansatz besteht aus drei Schritten: 1. Maskieren aller in einer Kameraperspektive verdeckten Punkte; 2. Lernen eines Encoder-Decoder-Modells zur Rekonstruktion der verdeckten Punkte; 3. Verwenden der Encoder-Gewichte als Initialisierung für nachgelagerte Aufgaben mit Punktwolken. Wir stellen fest, dass selbst bei der Erstellung eines einzelnen Vortrainingsdatensatzes (aus ModelNet40) diese Vortrainingsmethode die Genauigkeit auf verschiedenen Datensätzen und Encodern verbessert, insbesondere bei einem breiten Spektrum von nachgelagerten Aufgaben. Insbesondere zeigen wir, dass unsere Methode in der Objektklassifizierung sowie in den Aufgaben der Teilebasierten und semantischen Segmentierung vorherige Vortrainingsmethoden übertrifft. Wir untersuchen die vortrainierten Merkmale und finden heraus, dass sie zu breiten Minima in nachgelagerten Aufgaben führen, eine hohe Transformationsinvarianz aufweisen und Aktivierungen haben, die stark mit Teillabels korreliert sind.Der Code und die Daten sind unter folgendem Link verfügbar: https://github.com/hansen7/OcCo