要約
本稿では、深層半教師学習におけるシンプルでありながら効果的な手法である「クロスビュー学習（Cross-View Training, CVT）」を提案する。ラベル付きサンプルに対しては、標準的な交差エントロピー損失を用いてモデルを学習する。一方、ラベルなしサンプルに対しては、モデルが最初に推論を行い（「教師」として機能）、ソフトターゲットを生成する。その後、モデルはこれらのソフトターゲット（「生徒」として）から学習する。本研究では、従来の手法とは異なり、モデルに複数の補助的な生徒予測層を追加する。各生徒層の入力は、全体モデルのサブネットワークであり、入力に対する制限された視野（たとえば、画像の一部領域しか見ない）を持つ。生徒層は、教師（全体モデル）が各サンプルのより広範な情報を把握しているため、教師から学習可能である。同時に、生徒層は限られた情報からの予測を行うことで、教師が使用する表現の質を向上させる。このCVTを仮想 adversarial training（VAT）と組み合わせることで、半教師付きCIFAR-10および半教師付きSVHNにおいて、現在の最先端性能を上回ることを確認した。さらに、CVTを用いて、数億単位のラベルなし文を活用した5つの自然言語処理タスクにおいてモデルを学習した。すべてのタスクにおいて、CVTは単なる教師あり学習を大幅に上回り、現在の最先端技術と同等、あるいはそれを上回る性能を達成した。