Schnelle und genaue Szenenanalyse mittels bidirektionalen Ausrichtungsnetzwerken

In diesem Paper stellen wir eine effektive Methode zur schnellen und genauen Szenenanalyse vor, die als Bidirectional Alignment Network (BiAlignNet) bezeichnet wird. Bisherige Ansätze wie BiSeNet~\cite{bisenet} nutzen zwei getrennte Pfade (Context Path und Spatial Path), um jeweils eine ausgewogene Lernleistung in Bezug auf Semantik und Details zu erzielen. Die Beziehung zwischen diesen beiden Pfaden ist jedoch bisher nicht ausreichend untersucht worden. Wir argumentieren, dass sich die beiden Pfade gegenseitig komplementär unterstützen können. Ausgehend davon entwickeln wir ein neuartiges Netzwerk, das die Informationen beider Pfade durch eine gelernte Flussfeld-Alignment miteinander verknüpft. Um Rauschen und semantische Lücken zu vermeiden, führen wir ein Gated Flow Alignment Module ein, das die Merkmale bidirektional ausrichtet. Darüber hinaus stellen wir eine kantenbasierte hard pixel mining Loss vor, um den Spatial Path dabei zu unterstützen, detailliertere Informationen zu erlernen. Unser Ansatz erreicht eine mIoU von 80,1 % und 78,5 % auf den Validierungs- und Testsets des Cityscapes-Datensatzes, wobei die Verarbeitungsgeschwindigkeit bei 30 FPS mit voller Auflösung erfolgt. Der Quellcode und die Modelle werden unter \url{https://github.com/jojacola/BiAlignNet} zur Verfügung gestellt.