Neubewertung der Kontextaggregation für die Bildmatting

Traditionelle Studien betonen die Bedeutung von Kontextinformationen zur Verbesserung der Matting-Leistung. Daher untersuchen tiefenlernbasierte Matting-Methoden die Gestaltung von Pooling- oder Affinitäts-basierten Kontextaggregationsmodulen, um herausragende Ergebnisse zu erzielen. Diese Module können jedoch die durch unterschiedliche Bildgrößen während des Trainings und der Inferenz verursachten Skalenverschiebungen im Kontext nicht effektiv bewältigen, was zu einer Leistungseinbuße beim Matting führt. In diesem Paper überprüfen wir erneut die Mechanismen der Kontextaggregation in Matting-Netzwerken und stellen fest, dass ein grundlegendes Encoder-Decoder-Netzwerk ohne jegliche Kontextaggregationsmodule tatsächlich universellere Kontextaggregation lernen kann, wodurch eine höhere Matting-Leistung im Vergleich zu bestehenden Methoden erreicht wird. Auf dieser Erkenntnis aufbauend präsentieren wir AEMatter, ein Matting-Netzwerk, das einfach strukturiert, aber äußerst effektiv ist. AEMatter nutzt einen Hybrid-Transformer-Backbone mit appearance-verbesserten axis-wise Learning (AEAL)-Blöcken, um ein grundlegendes Netzwerk mit starker Fähigkeit zur Kontextaggregation zu schaffen. Zudem unterstützt eine Strategie des Trainings mit großen Bildern das Netzwerk dabei, die Kontextaggregation aus den Daten zu lernen. Umfangreiche Experimente auf fünf gängigen Matting-Datensätzen zeigen, dass das vorgeschlagene AEMatter die state-of-the-art-Matting-Methoden deutlich übertrifft.