SalNAS: 自己の知識蒸留を用いた効率的な注目度予測ニューラルアーキテクチャ探索

最近の深層畳み込みニューラルネットワーク（DCNN）の進歩により、注目度予測の性能が大幅に向上しました。しかし、ニューラルネットワークアーキテクチャの手動設定には専門的な知識が必要であり、なおかつ時間のかかる作業で誤りを引き起こしやすいという問題があります。これを解決するために、本研究では注目度予測用の新しいニューラルアーキテクチャサーチ（NAS）フレームワークを提案し、2つの貢献点を示します。まず、候補となるすべてのアーキテクチャが重み共有ネットワークとして統合されたエンコーダー-デコーダーに動的畳み込みを組み込むことで、注目度予測用のスーパーネットワーク「SalNAS」を構築しました。次に、SalNASは非常に効率的であるにもかかわらず（20.98百万パラメータ）、汎化能力が不足する可能性があります。これを解決するために、「Self-KD」と呼ばれる自己知識蒸留手法を提案しました。この手法では、教師モデルからの予測と正解データとの間の加重平均情報を用いて、学生SalNASを訓練します。教師モデルは同じアーキテクチャを持ちますが、クロスバリデーションによって選択された最良の重みを使用しています。Self-KDは教師モデルでの勾配計算が不要なため、効率的な訓練システムを実現できます。Self-KDを利用することで、SalNASは7つのベンチマークデータセットにおいてほとんどの評価指標で他の最先端の注目度予測モデルを上回りながらも軽量なモデルとなっています。本研究で使用したコードは https://github.com/chakkritte/SalNAS から入手可能です。