失敗から学ぶ：偏った分類器から偏りのない分類器を訓練する

ニューラルネットワークはしばしばデータセットに存在する誤った相関関係（spurious correlation）に過度に依存して予測を行うため、モデルが偏倚を帯びることがあります。従来の研究では、この問題に対処するために、誤った相関関係のある属性に対する明示的なラベリングや特定の偏倚タイプを前提としていましたが、我々はそれとは異なり、より安価で汎用的な形の人間の知識を利用します。これは様々な種類の偏倚に対して広く適用できるものです。まず、ニューラルネットワークが誤った相関関係に依存するのは、それが「学習しやすい」場合のみであり、特に訓練の初期段階でその依存が顕著であることを観察しました。これらの観察に基づいて、我々は2つのニューラルネットワークを同時に訓練することで偏倚を除去する失敗ベースのデバイアシング手法を提案します。我々の主なアイデアは2つあります；(a) 第1のネットワークを意図的に偏倚化させることで、「先入観」を繰り返し強化し、(b) 第2のネットワークの訓練において、第1の偏倚化されたネットワークと対立するサンプルに焦点を当てる方法です。多数の実験結果から、我々の手法は合成データセットおよび実世界データセットにおいて様々な種類の偏倚に対してネットワークの訓練を大幅に改善することが示されました。驚くべきことに、我々のフレームワークは偶に誤った相関関係のある属性に対する明示的な監督が必要なデバイアシング手法よりも優れた性能を発揮することもあります。