2ヶ月前

損失関数のエントロピー正則化による多様な決定境界の生成

Sue Sin Chong
損失関数のエントロピー正則化による多様な決定境界の生成
要約

複数の分類器を訓練して、真のラベルアノテーションなしで意味のあるクラウドソーシングを行い、より良い予測ラベルセットを生成することは可能でしょうか?本論文では、対照的学習の目的関数を修正し、自己補完アンサンブルを自動的に訓練することで、CIFAR10およびCIFAR100-20タスクにおいて最先端の予測を達成する方法を提案します。本論文では、単一の非監督分類パイプラインを修正して、異なる決定境界を持つニューラルネットワークのアンサンブルを自動的に生成し、クラスのより広範な特徴集合を学習するための簡潔な手法を提示します。Loss Function Entropy Regularization (LFER)は、事前学習と対照的学習の損失関数に追加される正則化項です。LFERは非監督学習の出力空間のエントロピー状態を変更するツールであり、これによりニューラルネットワークの決定境界の潜在表現が多様化されます。LFERを使用して訓練されたアンサンブルは、決定境界近くにあるサンプルに対する成功した予測精度が高くなります。LFERは決定境界を摂動させるのに適したツールであり、対照的学習段階で最先端を超える分類器を生成しています。実験結果から、LFERは最先端と同等の精度を持つアンサンブルを生成しつつも異なる潜在的な決定境界を持つことが示されています。これにより決定境界近くにあるサンプルに対して意味のある検証を行うことができ、境界近傍サンプルの正しい分類が促進されます。ニューラルネットワーク群の中で単一サンプルの正しい予測確率を集約することにより、当手法はノイズ除去と正しい特徴マッピングの確認を通じて単一分類器よりも優れた性能を発揮できます。