要約
顔認識は深層学習の登場により著しい成功を収めています。しかし、多くの現代の顔認識モデルは、正面顔と比べて横顔の処理において依然として相対的に劣った性能を示しています。その主な理由は、正面顔と横顔の訓練データ数が極めて不均衡であるためです。つまり、正面顔の訓練サンプル数が横顔のそれよりも大幅に多いのです。さらに、大規模な姿勢変動に対する幾何学的な不変性を持つ深い表現を学習することは本質的に困難です。本研究では、正面顔と横顔の間に内在的なマッピングがあるという仮説を立てています。その結果、深層表現空間における両者の差異は等変換マッピングによって架橋できると考えられます。このマッピングを利用するため、新しい「Deep Residual EquivAriant Mapping (DREAM) ブロック」を定式化しました。このブロックは、入力の深層表現に対して適応的に残差を追加し、横顔の表現を認識が容易になる正規姿勢に変換することができます。DREAMブロックは、ResNetモデルなど多くの強力な深層ネットワークで一貫して横顔認識の性能を向上させることができます。また、横顔の訓練データを意図的に増やすことなく使用でき、軽量で計算負荷がほとんどないため実装が簡単です。