HyperAIHyperAI

Command Palette

Search for a command to run...

Adaptives parametrisches Aktivierungsspektrum

Konstantinos Panagiotis Alexandridis Jiankang Deng Anh Nguyen Shan Luo

Zusammenfassung

Die Aktivierungsfunktion spielt eine entscheidende Rolle bei der Modelloptimierung, jedoch bleibt die optimale Wahl unklar. Zum Beispiel ist die Sigmoid-Aktivierung in ausgewogenen Klassifizierungsaufgaben de facto die Standardaktivierung, aber in unbalancierten Klassifizierungen erweist sie sich als ungeeignet aufgrund des Vorurteils gegenüber häufigen Klassen. In dieser Arbeit untersuchen wir dieses Phänomen detaillierter, indem wir eine umfassende statistische Analyse sowohl in den Klassifikationsschichten als auch in den Zwischenschichten von balancierten und unbalancierten Netzen durchführen. Wir zeigen empirisch, dass das Anpassen der Aktivierungsfunktion an die Datenverteilung die Leistung sowohl in balancierten als auch in unbalancierten Aufgaben verbessert. Zu diesem Zweck schlagen wir die adaptive parametrische Aktivierung (APA) vor, eine neuartige und vielseitige Aktivierungsfunktion, die die meisten gängigen Aktivierungsfunktionen unter einer einzigen Formel vereint. APA kann sowohl in Zwischenschichten als auch in Aufmerksamkeitsschichten angewendet werden und übertreffen signifikant den Stand der Technik auf mehreren unbalancierten Benchmarks wie ImageNet-LT, iNaturalist2018, Places-LT, CIFAR100-LT und LVIS sowie auf balancierten Benchmarks wie ImageNet1K, COCO und V3DET. Der Code ist unter https://github.com/kostas1515/AGLU verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Adaptives parametrisches Aktivierungsspektrum | Paper | HyperAI