Meta-Weight-Net: サンプル重み付けのための明示的なマッピングの学習

現在の深層ニューラルネットワーク（DNN）は、ラベルが壊れているデータやクラスの不均衡がある偏った訓練データに対して簡単に過学習してしまう傾向があります。サンプル再重み付け戦略は、この問題を緩和するために一般的に使用されており、訓練損失からサンプル重みへのマッピングを行う重み付け関数を設計し、その後、重みの再計算と分類器の更新を反復します。しかし、現行の手法では、重み付け関数およびその追加のハイパーパラメータを手動で事前に指定する必要があります。これにより、適切な重み付けスキームが調査対象の問題や訓練データによって大きく異なるため、実際には一般的に適用するのが非常に困難になっています。この課題に対処するため、我々はデータから直接適応的に明示的な重み付け関数を学習できる方法を提案します。この重み付け関数は1つの隠れ層を持つMLPであり、ほぼ任意の連続関数を近似する普遍的な近似器として機能します。これにより、従来の研究で仮定されたものも含め、広範な種類の重み付け関数に適合することが可能になります。少量の無偏バイアスメタデータのガイダンスのもとで、分類器の学習プロセスと同時に重み付け関数のパラメータを微調整することができます。合成データと実際のデータを使用した実験結果は、我々の方法がクラス不均衡やノイズのあるラベルの場合において適切な重み付け関数を達成できることを証明しています。これは従来的方法における一般的な設定だけでなく、従来の場合を超えるより複雑なシナリオにも完全に対応しています。その結果として自然に他の最先端手法よりも高い精度が得られます。