Debiasedサブネットワークの対照的ウェイトプルーニングによる訓練

ニューラルネットワークは、一般的に誤った相関特徴に偏りが生じ、その結果、一般化しない誤った統計的証拠を提供することがあります。これにより興味深い問いが提起されます：「深刻な偏りを持つネットワークにおいて、最適かつ偏りのない機能サブネットワークは存在するのか？もしそうであれば、そのようなサブネットワークをどのように抽出することができるのか？」これまでの経験的な証拠では、このような偏りのないサブネットワークの存在について蓄積されてきましたが、これらの観察は主に真実の偏りのないサンプルに基づいています。したがって、実際には偏った訓練データセットから最適なサブネットワークを発見する方法については未探索です。この問題に対処するために、まず我々は理論的な洞察を提示します。これは強力な誤った相関が存在する場合に既存のアルゴリズムが偏りのないサブネットワークを探求する際の潜在的な制限を警告しています。次に、我々はバイアスと対立するサンプルが構造学習における重要性をさらに明確にします。これらの観察に触発され、我々は高価なグループ注釈なしで偏りのないサブネットワークを探求できるデバイアス対照的ウェイトプルーニング（Debiased Contrastive Weight Pruning, DCWP）アルゴリズムを提案します。実験結果は、パラメータ数を大幅に削減しながらも、当手法が最先端のデバイアステクニックよりも著しく優れていることを示しています。