Adaptives parametrisches Aktivierungsspektrum

Die Aktivierungsfunktion spielt eine entscheidende Rolle bei der Modelloptimierung, jedoch bleibt die optimale Wahl unklar. Zum Beispiel ist die Sigmoid-Aktivierung in ausgewogenen Klassifizierungsaufgaben de facto die Standardaktivierung, aber in unbalancierten Klassifizierungen erweist sie sich als ungeeignet aufgrund des Vorurteils gegenüber häufigen Klassen. In dieser Arbeit untersuchen wir dieses Phänomen detaillierter, indem wir eine umfassende statistische Analyse sowohl in den Klassifikationsschichten als auch in den Zwischenschichten von balancierten und unbalancierten Netzen durchführen. Wir zeigen empirisch, dass das Anpassen der Aktivierungsfunktion an die Datenverteilung die Leistung sowohl in balancierten als auch in unbalancierten Aufgaben verbessert. Zu diesem Zweck schlagen wir die adaptive parametrische Aktivierung (APA) vor, eine neuartige und vielseitige Aktivierungsfunktion, die die meisten gängigen Aktivierungsfunktionen unter einer einzigen Formel vereint. APA kann sowohl in Zwischenschichten als auch in Aufmerksamkeitsschichten angewendet werden und übertreffen signifikant den Stand der Technik auf mehreren unbalancierten Benchmarks wie ImageNet-LT, iNaturalist2018, Places-LT, CIFAR100-LT und LVIS sowie auf balancierten Benchmarks wie ImageNet1K, COCO und V3DET. Der Code ist unter https://github.com/kostas1515/AGLU verfügbar.