Line als visuelle Satzstruktur: kontextbewusster Zeilenbeschreiber für visuelle Lokalisierung

Neben Merkmalspunkten für die Bildübereinstimmung liefern Linienmerkmale zusätzliche Einschränkungen zur Lösung visueller geometrischer Probleme in der Robotik und Computer Vision (CV). Obwohl neuere auf Faltungsneuralen Netzen (CNN) basierende Linienbeschreibungen für Veränderungen der Blickrichtung oder dynamische Umgebungen vielversprechend sind, argumentieren wir, dass die CNN-Architektur inhärente Nachteile aufweist, variable Linienlängen in einen festen Dimensionsvektor abzubilden. In diesem Artikel führen wir effektiv Line-Transformers ein, die mit variablen Linien umgehen können. Inspiriert von Aufgaben im Bereich der natürlichen Sprachverarbeitung (NLP), bei denen Sätze in neuronalen Netzen gut verstanden und abstrahiert werden können, betrachten wir ein Linienstück als einen Satz, der Punkte (Wörter) enthält. Durch dynamische Aufmerksamkeit auf gut beschreibbare Punkte entlang einer Linie erreicht unsere Beschreibung hervorragende Leistung bei variabler Linienlänge. Außerdem schlagen wir Linien-Signatur-Netzwerke vor, die geometrische Eigenschaften einer Linie gemeinsam mit ihren Nachbarn nutzen. Als Gruppenbeschreibungen verstärken diese Netzwerke die Linienbeschreibungen durch ein besseres Verständnis der relativen Geometrie der Linien. Schließlich präsentieren wir den vorgeschlagenen Linienbeschreiber und die zugehörige Übereinstimmung im Rahmen eines Point and Line Localization (PL-Loc)-Systems. Wir zeigen, dass die visuelle Lokalisierung mittels Merkmalspunkten durch die Verwendung unserer Linienmerkmale verbessert werden kann. Die Wirksamkeit des vorgeschlagenen Ansatzes wird anhand der Homographie-Schätzung und der visuellen Lokalisierung bestätigt.