17日前

自己教師付き補助タスクを用いた微細な顔認識表現の向上

Mahdi Pourmirzaei, Gholam Ali Montazer, Farzaneh Esmaili
自己教師付き補助タスクを用いた微細な顔認識表現の向上
要約

本稿では、まずImageNetでの事前学習が細粒度顔面感情認識(Fine-grained Facial Emotion Recognition, FER)に与える影響を調査した。その結果、画像に対して十分なデータ拡張(augmentation)を施した場合、ImageNet事前学習に基づく微調整(fine-tuning)よりも、初期化から学習を開始する(training from scratch)方が優れた性能を達成することが明らかになった。次に、細粒度かつ実環境(in-the-wild)下におけるFERの性能向上を目的として、ハイブリッド多タスク学習(Hybrid Multi-Task Learning, HMTL)と呼ばれる新手法を提案する。HMTLは、従来の教師あり学習(Supervised Learning, SL)の枠組み内において、自己教師学習(Self-Supervised Learning, SSL)を補助タスクとして導入した多タスク学習(Multi-Task Learning, MTL)の形式を採用する。訓練中にSSLを活用することで、主タスクである細粒度SLに向けた追加の画像情報が得られ、表現力の向上が可能となる。本研究では、一般的な前処理タスク(pre-text task)の手法である「パズル化(puzzling)」と「穴埋め(in-painting)」を、FER領域に適応させるためにカスタマイズした2種類のHMTLアーキテクチャを設計し、その有効性を検証した。提案手法は、追加データでの事前学習を一切用いずに、AffectNetベンチマークにおいて最先端の性能を達成した。一般的なSSL事前学習と本研究で提案するHMTLの実験結果を比較することで、本研究の優位性と差異が明確に示された。さらに、HMTLはFER領域に限定されるものではない。頭部姿勢推定および性別認識という2種類の細粒度顔面タスクにおける実験結果から、HMTLが細粒度顔面表現の向上に有効である可能性が示された。