共教：非常にノイジーなラベルを持つ深層ニューラルネットワークの堅牢な学習

ノイジーなラベルを使用した深層学習は、実際的に挑戦的な課題である。深層モデルの容量が非常に高いため、訓練中にこれらのノイジーなラベルを完全に記憶してしまう可能性があるからだ。しかし、最近の深層ニューラルネットワークの記憶効果に関する研究では、これらのモデルがまずクリーンなラベルを持つ訓練データを記憶し、その後でノイジーなラベルを持つデータを記憶することが示されている。そこで本論文では、ノイジーなラベルへの対処のために新しい深層学習パラダイムであるCo-teaching（共教育）を提案する。具体的には、2つの深層ニューラルネットワークを同時に訓練し、各ミニバッチに対して互いに教え合う仕組みとする：まず、各ネットワークはすべてのデータを順方向に伝播し、おそらくクリーンなラベルを持つデータを選択する；次に、2つのネットワークはこのミニバッチ内でどのデータを使用して訓練すべきかについて情報を交換する；最後に、各ネットワークは相手のネットワークが選択したデータを逆方向に伝播させ、自己更新を行う。MNIST, CIFAR-10, CIFAR-100のノイジー版に対する実験結果は、Co-teachingが既存の最先端手法よりも訓練された深層モデルの堅牢性において優れていることを示している。