PocketNet: ニューラルアーキテクチャサーチとマルチステップ知識蒸留を用いた極めて軽量な顔認識ネットワーク

深層ニューラルネットワークは急速に顔認識（FR）の主流の手法となっています。しかし、これにより、極めて多数のパラメータを含むようなモデルが組み込みデバイスや低性能デバイスへの展開が制限されています。本研究では、非常に軽量かつ精度の高いFRソリューションであるPocketNetを提案します。ニューラルアーキテクチャサーチ（NAS）を利用して、新しい軽量な顔認識専用アーキテクチャファミリーを開発しました。さらに、教師モデルから学習者モデルへ異なる訓練段階で知識を伝達する新たな訓練パラダイムであるマルチステップ知識蒸留（KD）を提案します。詳細なアブレーションスタディを行い、特定のタスクであるFRに対して一般物体分類よりもNASを使用することの妥当性と、提案したマルチステップKDの利点を証明しました。9つの異なるベンチマーク、IJB-B、IJB-C、MegaFaceなどの大規模評価ベンチマークを含め、最先端（SOTA）のコンパクトなFRモデルとの広範な実験評価と比較を行いました。同じレベルのモデルコンパクトさを考えた場合、PocketNetsは9つの主要ベンチマークにおいて一貫してSOTAのFR性能を向上させています。0.92Mパラメータを持つ最小のネットワークPocketNetS-128は、最大4Mパラメータを持つ最近のSOTAコンパクトモデルと競合する非常に優れた結果を達成しました。