Zu leichtgewichtigen und Echtzeit-Liniensegmenterkennung

Frühere tiefen Lernverfahren zur Erkennung von Liniensegmenten (LSD) leiden unter der immensen Modellgröße und den hohen Rechenaufwand für die Linienprognose. Dies begrenzt ihre Anwendung auf Echtzeit-Inferenz in rechnerisch eingeschränkten Umgebungen. In dieser Arbeit schlagen wir einen Echtzeit- und ressourcenschonenden Liniensegmentdetektor für umfeldbedingte Ressourcenbeschränkungen vor, den wir Mobile LSD (M-LSD) nennen. Wir entwerfen eine extrem effiziente LSD-Architektur, indem wir das Backbone-Netzwerk minimieren und den typischen Mehrfachmodulprozess zur Linienprognose aus früheren Methoden entfernen. Um mit einem leichten Netzwerk wettbewerbsfähige Leistungen zu erzielen, präsentieren wir innovative Trainingsmethoden: Segmente von Liniensegmenten (SoL)-Erweiterung, -Zuordnung und geometrischer Verlust. Die SoL-Erweiterung teilt ein Liniensegment in mehrere Teilabschnitte auf, die während des Trainingsprozesses als zusätzliche Liniendaten verwendet werden. Darüber hinaus ermöglichen die Zuordnungs- und geometrischen Verluste es dem Modell, zusätzliche geometrische Hinweise zu erfassen. Im Vergleich zu TP-LSD-Lite, der bisher beste Echtzeit-LSD-Methode, erreicht unser Modell (M-LSD-tiny) wettbewerbsfähige Leistungen bei 2,5 % der Modellgröße und einer Steigerung der Inferenzgeschwindigkeit um 130,5 % auf GPU. Des Weiteren läuft unser Modell mit 56,8 FPS und 48,6 FPS auf den neuesten Android- und iPhone-Mobilgeräten. Nach unserem Wissen ist dies das erste tiefen Echtzeit-LSD-Modell, das auf Mobilgeräten verfügbar ist. Unser Code ist öffentlich zugänglich.