要約
近年、訓練サンプル数よりもネットワークパラメータ数が著しく多い過パラメータ化深層ネットワークが、現代の機械学習における性能を牽引している。しかし、訓練データにノイズが含まれる場合、過パラメータ化ネットワークは過学習を起こし、一般化性能が低下することが知られている。本研究では、分類タスクにおいて訓練ラベルの一部が誤っている状況下で、過パラメータ化深層ネットワークをロバストに訓練するための原理的なアプローチを提案する。その核心的なアイデアは極めてシンプルである：ラベルノイズは疎（sparse）であり、クリーンデータから学習されたネットワークと非整合（incoherent）であるため、ノイズをモデル化し、データから分離する手法を構築する。具体的には、ラベルノイズを別の疎な過パラメータ化項としてモデル化し、アルゴリズムの内在的正則化（implicit regularization）を活用して、元のノイズを回復・分離する。驚くべきことに、実際の実装においてこの単純な手法を用いて訓練した場合、多数の実データセットにおいて、ラベルノイズに対する最先端のテスト精度を達成することを示した。さらに、簡略化された線形モデルに対する理論的解析により、ノイズが疎であり、データと非整合な条件下では、疎なノイズと低ランクデータとの正確な分離が可能であることが示された。本研究は、疎な過パラメータ化と内在的正則化を活用することで、過パラメータ化モデルの性能向上に向けた多くの興味深い研究方向性を開拓した。