CARAFE: Content-aware Reassembly of Features

Die Featureskalierung (Feature Upsampling) ist eine entscheidende Operation in mehreren modernen Architekturen von Faltungsnetzen, wie zum Beispiel in Feature-Pyramiden. Ihre Gestaltung ist für dichte Vorhersageaufgaben wie Objekterkennung und semantische/instanzbasierte Segmentierung von großer Bedeutung. In dieser Arbeit schlagen wir Content-Aware ReAssembly of FEatures (CARAFE) vor, einen universellen, leichten und hochwirksamen Operator, um dieses Ziel zu erreichen.CARAFE verfügt über mehrere ansprechende Eigenschaften: (1) Große Sichtfelder. Im Gegensatz zu früheren Arbeiten (z.B. bilineare Interpolation), die nur subpixelnahe Nachbarschaften nutzen, kann CARAFE kontextuelle Informationen innerhalb eines großen Rezeptionsfeldes aggregieren. (2) Inhaltsabhängige Verarbeitung. Anstatt ein festes Kern für alle Proben zu verwenden (z.B. Deconvolution), ermöglicht CARAFE inhaltsabhängige, instanzspezifische Verarbeitung, die adaptive Kerne in Echtzeit generiert. (3) Leichtgewichtig und schnell zu berechnen. CARAFE führt kaum zu zusätzlichen Berechnungen und kann leicht in moderne Netzarchitekturen integriert werden.Wir führen umfassende Evaluierungen auf Standard-Benchmarks für Objekterkennung, instanzbasierte/semantische Segmentierung und Inpainting durch. CARAFE zeigt konsistente und erhebliche Verbesserungen bei allen Aufgaben (1,2 %, 1,3 %, 1,8 % und 1,1 dB jeweils) mit vernachlässigbarem Rechenaufwand. Es hat großes Potenzial als starker Baustein für zukünftige Forschungen zu dienen.Der Quellcode und die Modelle sind unter https://github.com/open-mmlab/mmdetection verfügbar.