要約
最近の半教師あり深層学習（Deep SSL）手法は、類似のパラダイムを使用している：ネットワークの予測を用いて疑似ラベルを更新し、疑似ラベルを用いてネットワークのパラメータを反復的に更新する。しかし、これらの手法には理論的な裏付けが不足しており、なぜ予測が疑似ラベルの候補として適切であるのか説明できない。本論文では、SSL用の原理に基づいたエンドツーエンドフレームワークである「Deep Decipher (D2)」を提案する。D2フレームワーク内において、我々は疑似ラベルが指数関数リンク関数によってネットワーク予測と関連していることを証明し、予測を疑似ラベルとして使用することに理論的な支持を与える。さらに、ネットワーク予測による疑似ラベルの更新が不確実性をもたらすことを示す。この問題を緩和するために、「Repetitive Reprediction (R2)」と呼ばれる学習戦略を提案する。最後に、提案されたR2-D2手法は大規模なImageNetデータセットで検証され、最先端の手法よりも5パーセンテージポイント高い性能を達成した。