HyperAIHyperAI

Command Palette

Search for a command to run...

適応パラメトリック活性化

Konstantinos Panagiotis Alexandridis Jiankang Deng Anh Nguyen Shan Luo

概要

活性化関数はモデルの最適化において重要な役割を果たしていますが、最適な選択肢は依然として明確ではありません。例えば、シグモイド活性化関数はバランスの取れた分類タスクで事実上標準的な活性化関数ですが、不均衡な分類タスクでは頻繁に現れるクラスへの偏りのために不適切であることが示されています。本研究では、この現象についてより深く掘り下げることを目的とし、バランスの取れたネットワークと不均衡なネットワークの分類層および中間層に対して包括的な統計解析を行い、データ分布に合わせて活性化関数を選択することで両方のタスクでの性能が向上することを実証的に示しました。この結果に基づき、私たちは新しいかつ汎用性の高い活性化関数であるアダプティブパラメトリック活性化(APA)関数を提案します。APA関数は中間層と注意層の両方に適用でき、ImageNet-LT、iNaturalist2018、Places-LT、CIFAR100-LT、LVISなどの不均衡ベンチマークやImageNet1K、COCO、V3DETなどのバランスの取れたベンチマークにおいて最先端の手法を大幅に上回る性能を発揮します。コードは https://github.com/kostas1515/AGLU で公開されています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています