MentorNet: 学習データ駆動のカリキュラムを用いた破損ラベル上の非常に深いニューラルネットワークの学習

最近の深層ネットワークは、ラベルが完全にランダムであっても、全データを記憶する能力を持っています。このような汚染されたラベルに対する過学習を克服するために、私たちは基底となる深層ネットワーク（StudentNet）の学習を監督する別のニューラルネットワークであるMentorNetを学習する新しい手法を提案します。学習中に、MentorNetはStudentNetに対しておそらく正しいラベルを持つサンプルに焦点を当てるためのカリキュラム（サンプル重み付けスキーム）を提供します。既存のカリキュラムが通常人間の専門家によって事前に定義されるのとは異なり、MentorNetはStudentNetと共に動的にデータ駆動型のカリキュラムを学習します。実験結果は、私たちの手法が汚染された訓練データで学習した深層ネットワークの汎化性能を大幅に向上させることを示しています。特に、私たちが知る限りでは、WebVisionという大規模なベンチマークにおいて最良の公表結果を達成しました。このベンチマークには220万枚の現実世界におけるノイジーなラベル付き画像が含まれています。コードは以下のURLから入手できます: https://github.com/google/mentornet