要約
特徴融合は、入力（プローブ）が品質が低い画像の集合（N枚）から構成され、それぞれの画像品質が異なる非制約的顔認識において、中心的な役割を果たす。近年の注目機構（attention）および再帰モジュール（recurrent module）の進展により、入力集合内の画像間の関係性をモデル化する特徴融合が可能になった。しかし、注目機構は二次時間計算量のため大規模なNに対してスケーラブルではなく、再帰モジュールは入力の順序に敏感であるという課題を抱えている。本研究では、大規模なNに対してもスケーラブルでありながら、順序不変性を維持した順次推論（sequential inference）を可能にする二段階特徴融合フレームワーク「Cluster and Aggregate」を提案する。具体的には、第一段階の「Cluster」では、N個の入力をM個のグローバルクラスタ中心に線形割り当てする処理を行い、第二段階の「Aggregate」では、M個のクラスタ化された特徴量を統合する。順序付き入力において、クラスタ化された特徴量は過去の特徴の要約として機能し、重要な役割を果たす。さらに、逐次平均演算の順序不変性を活用し、バッチ処理における順序不変性を保証する更新ルールを設計した。これにより、シーケンス内の初期画像の貢献度が時間ステップの増加に伴って減少することを防ぐことが可能となる。IJB-BおよびIJB-Sというベンチマークデータセットにおける実験結果から、本提案手法が非制約的顔認識において優れた性能を発揮することが確認された。コードおよび事前学習済みモデルは、https://github.com/mk-minchul/caface にて公開されている。