Semantische Linienentwicklung und ihre Anwendungen

Semantische Linien charakterisieren die Struktur einer Abbildung. Trotz ihrer Bedeutung für die Bildanalyse und die Szenenverstehbarkeit existiert bisher kein zuverlässiger Forschungsansatz zur Detektion semantischer Linien. In diesem Beitrag stellen wir einen semantischen Linien-Detektor vor, der auf einem convolutionalen neuronalen Netzwerk mit Multi-Task-Lernen basiert und die Linien-Detektion als Kombination von Klassifikations- und Regressionsaufgaben modelliert. Wir nutzen Convolution- und Max-Pooling-Schichten, um mehrskalige Merkmalskarten für ein Eingabebild zu erzeugen. Anschließend entwickeln wir eine Linien-Pooling-Schicht, um aus den Merkmalskarten für jede Kandidatenlinie einen Merkmalsvektor zu extrahieren. Dieser Merkmalsvektor wird dann in parallele Klassifikations- und Regressions-Schichten eingespeist. Die Klassifikationsschicht entscheidet, ob der Kandidat eine semantische Linie darstellt oder nicht. Bei positiver Klassifikation bestimmt die Regressions-Schicht einen Offset zur Feinjustierung der Linienposition. Experimentelle Ergebnisse zeigen, dass der vorgeschlagene Detektor semantische Linien präzise und zuverlässig extrahiert. Darüber hinaus demonstrieren wir die erfolgreiche Anwendung des Detektors in drei Anwendungen: Horizontschätzung, Kompositionsoptimierung und Bildvereinfachung.