Command Palette
Search for a command to run...
意味分割を活用した顔貌属性予測の向上
意味分割を活用した顔貌属性予測の向上
Kalayeh Mahdi M. Gong Boqing Shah Mubarak
概要
属性(Attributes)とは、カテゴリの境界を越えて広く適用可能な意味的に重要な特徴を指す。特に、明示的な訓練例が与えられない状況、例えばゼロショット学習(zero-shot learning)において、概念の記述や認識に際して、属性は極めて重要である。また、属性は人間が自然に記述可能な特徴であるため、効率的な人間-コンピュータ間の相互作用にも利用可能である。本研究では、顔の属性予測を向上させるために、意味的セグメンテーション(semantic segmentation)を活用する手法を提案する。その核心的な考え方は、多くの顔の属性が局所的な性質を記述しているという点にあり、言い換えれば、顔画像における属性の出現確率は空間的に均一ではないということである。我々は、深層意味的セグメンテーションネットワークと連携して、顔の属性予測モデルを構築した。これにより、意味的セグメンテーションから学習された局所化の手がかりを活用し、属性予測の注目領域を、異なる属性が自然に現れる部位へと導くことができる。その結果、訓練段階では画像レベルのラベル(弱教師信号)しか利用できないにもかかわらず、認識に加えて属性の局所化も可能となる。本手法はCelebAおよびLFWAデータセットにおいて評価され、既存手法を上回る優れた性能を達成した。さらに、逆問題として、顔の属性情報を活用することで、意味的顔解析(semantic face parsing)の性能が向上することも示した。これは、これらの相互に関連する2つのタスクを統合的にモデル化する必要性を再確認するものである。