Feather：効果的なDNNスパース化の洗練された解決策

ニューラルネットワークの構造削減（プルーニング）は、リソース制約環境に適したコンパクトで効率的なモデルを生成するため、ますます注目されている手法であり、高い性能を維持しつつ実現可能である。従来のプルーニング手法は複数サイクルにわたる訓練と微調整を必要としていたが、近年のトレンドは、標準的な訓練プロセスの一部としてスパース化（疎性化）を統合することに移行している。本研究では、強力な「ストレートスルー推定器（Straight-Through Estimator）」を核とする効率的なスパーストレーニングモジュール「Feather」を提案する。このモジュールは、新たなしきい値処理演算子と勾配スケーリング技術を組み合わせることで、即時かつ堅牢なスパース化性能を実現している。Featherの有効性と汎用性は、CIFARデータセット上で多様なアーキテクチャを用いて検証された。また、ImageNetデータセットにおいてはResNet-50アーキテクチャを用いて、従来の複雑で計算コストの高い手法を大きく上回る最先端のTop-1検証精度を達成した。コードはGitHubにて公開されており、https://github.com/athglentis/feather から入手可能である。