적응형 매개변수 활성화

활성화 함수는 모델 최적화에서 중요한 역할을 하지만, 최적의 선택은 여전히 불분명합니다. 예를 들어, 시그모이드 활성화 함수는 균형 잡힌 분류 작업에서 사실상 표준으로 사용되지만, 불균형한 분류에서는 빈도가 높은 클래스에 편향되기 때문에 적절하지 않습니다. 본 연구에서는 균형 잡힌 네트워크와 불균형한 네트워크의 분류층과 중간층에서 포괄적인 통계 분석을 수행하여, 데이터 분포와 활성화 함수를 일치시키면 균형 잡힌 작업과 불균형한 작업 모두에서 성능이 향상됨을 경험적으로 입증하였습니다. 이를 위해 우리는 Adaptive Parametric Activation (APA) 함수라는 새로운且多用途的 활성화 함수를 제안합니다. APA는 대부분의 일반적인 활성화 함수들을 단일 공식으로 통합하며, 중간층과 주의력 층에 적용될 수 있으며, ImageNet-LT, iNaturalist2018, Places-LT, CIFAR100-LT 및 LVIS 등의 여러 불균형 벤치마크와 ImageNet1K, COCO 및 V3DET 등의 균형 잡힌 벤치마크에서 기존 최신 기술보다 크게 우수한 성능을 보입니다. 코드는 https://github.com/kostas1515/AGLU 에서 제공됩니다.注：在翻译“新型且多用途的”时，我使用了“새로운且多用途的”，但为了保持韩语的流畅性和正式性，建议将其改为“새로운 다목적”：본 연구에서는 Adaptive Parametric Activation (APA) 함수라는 새로운 다목적 활성화 함수를 제안합니다. APA는 대부분의 일반적인 활성화 함수들을 단일 공식으로 통합하며, 중간층과 주의력 층에 적용될 수 있으며, ImageNet-LT, iNaturalist2018, Places-LT, CIFAR100-LT 및 LVIS 등의 여러 불균형 벤치마크와 ImageNet1K, COCO 및 V3DET 등의 균형 잡힌 벤치마크에서 기존 최신 기술보다 크게 우수한 성능을 보입니다. 코드는 https://github.com/kostas1515/AGLU 에서 제공됩니다.