Deformierbare Faltungsnetze

Faltungsschicht-Neuronale Netze (CNNs) sind aufgrund der festen geometrischen Strukturen in ihren Bauteilen grundsätzlich eingeschränkt, geometrische Transformationen zu modellieren. In dieser Arbeit stellen wir zwei neue Module vor, um die Transformationsmodellierungsfähigkeit von CNNs zu verbessern: die deformierbare Faltung und das deformierbare RoI-Pooling (Region of Interest). Beide basieren auf dem Konzept, die räumlichen Abtastpositionen in den Modulen durch zusätzliche Verschiebungen zu erweitern und diese Verschiebungen aus den Zielaufgaben zu lernen, ohne zusätzliche Überwachung. Die neuen Module können problemlos die herkömmlichen Gegenstücke in bestehenden CNNs ersetzen und lassen sich durch Standard-Rückpropagation leicht end-to-end trainieren, was zu deformierbaren Faltungsschicht-Neuronalen Netzen führt. Ausführliche Experimente bestätigen die Effektivität unseres Ansatzes bei komplexen visuellen Aufgaben wie Objekterkennung und semantischer Segmentierung. Der Code wird veröffentlicht werden.