SIGNet: Semantisch instanzierter unsupervisierter 3D-Geometriewahrnehmung

Das unüberwachte Lernen für die geometrische Wahrnehmung (Tiefe, optischer Fluss usw.) ist von großem Interesse für autonome Systeme. Kürzliche Arbeiten im Bereich des unüberwachten Lernens haben bei der Wahrnehmung von Geometrie erhebliche Fortschritte gemacht; sie ignorieren jedoch oft die Kohärenz von Objekten und zeigen unter dunklen und rauschigen Umgebungsbedingungen eine schlechte Leistung. Im Gegensatz dazu sind überwachte Lernalgorithmen, die robust sind, auf große annotierte geometrische Datensätze angewiesen. In dieser Arbeit wird SIGNet vorgestellt, ein neues Framework, das eine robuste geometrische Wahrnehmung ohne geometrisch informative Labels ermöglicht. Insbesondere integriert SIGNet semantische Informationen, um Tiefen- und Flussvorhersagen mit Objekten konsistent zu machen und sie gegenüber schlechten Beleuchtungsbedingungen robust zu gestalten. Es wird gezeigt, dass SIGNet den Stand der Technik im unüberwachten Lernen zur Tiefenvorhersage um 30 % (in quadratischem relativen Fehler) verbessert. Insbesondere verbessert SIGNet die Leistung der dynamischen Objektklasse um 39 % in der Tiefenvorhersage und um 29 % in der Flussvorhersage. Unser Code wird unter https://github.com/mengyuest/SIGNet zur Verfügung gestellt.