要約
活性化関数はモデルの最適化において重要な役割を果たしていますが、最適な選択肢は依然として明確ではありません。例えば、シグモイド活性化関数はバランスの取れた分類タスクで事実上標準的な活性化関数ですが、不均衡な分類タスクでは頻繁に現れるクラスへの偏りのために不適切であることが示されています。本研究では、この現象についてより深く掘り下げることを目的とし、バランスの取れたネットワークと不均衡なネットワークの分類層および中間層に対して包括的な統計解析を行い、データ分布に合わせて活性化関数を選択することで両方のタスクでの性能が向上することを実証的に示しました。この結果に基づき、私たちは新しいかつ汎用性の高い活性化関数であるアダプティブパラメトリック活性化（APA）関数を提案します。APA関数は中間層と注意層の両方に適用でき、ImageNet-LT、iNaturalist2018、Places-LT、CIFAR100-LT、LVISなどの不均衡ベンチマークやImageNet1K、COCO、V3DETなどのバランスの取れたベンチマークにおいて最先端の手法を大幅に上回る性能を発揮します。コードは https://github.com/kostas1515/AGLU で公開されています。