PeCLR：自己教師付き3Dハンドポーズ推定における単眼RGBからの等長的コントラスト学習

画像分類タスクにおける対照学習（contrastive learning）の成功を受けて、3次元手の姿勢推定という構造化回帰タスクに対する新たな自己教師学習手法を提案する。対照学習は、画像変換に対して特徴表現が不変（invariant）になるよう設計された損失関数を用いて、ラベルのないデータを活用して表現学習を実現する。3次元手の姿勢推定においても、色のノイズ（color jitter）など外観変換に対して不変性を持つことが望ましい。しかし、このタスクでは回転や平行移動といったアフィン変換（affine transformation）に対して等価性（equivariance）を保つことが必要となる。この課題に対処するため、等価性を考慮した対照学習目的関数（equivariant contrastive objective）を提案し、3次元手の姿勢推定の文脈においてその有効性を実証する。本研究では、不変性と等価性を考慮した対照学習目的関数の実験的影響を検証し、等価性を学習する特徴表現が3次元手の姿勢推定というタスクにおいてより優れた表現をもたらすことを示す。さらに、追加のラベルなしデータで十分な深さを持つ標準的なResNetを訓練することで、FreiHANDデータセット上でPA-EPE（Per-Angle Error in Euclidean space）において最大14.5%の性能向上が達成され、特定タスクに特化した専用アーキテクチャを用いずに最先端の性能を達成することを示す。コードおよびモデルは、https://ait.ethz.ch/projects/2021/PeCLR/ にて公開されている。