2ヶ月前

SequenceMatch: 半教師あり学習の弱い強化と強い強化の設計を見直す

Khanh-Binh Nguyen
SequenceMatch: 半教師あり学習の弱い強化と強い強化の設計を見直す
要約

半教師あり学習(Semi-supervised Learning: SSL)は、大量のラベルなしデータを使用してモデルを訓練できるため、近年注目を集めています。しかし、多くのSSL手法が直面している問題の一つは確認バイアスであり、これはモデルが小さなラベル付き訓練データセットに過学習し、過信的な誤った予測を生成する現象です。この問題に対処するために、私たちは効率的なSSL手法であるSequenceMatchを提案します。SequenceMatchの重要な要素は、ラベルなしデータに対する中程度の拡張を含むことです。異なる拡張と各拡張例間の一貫性制約を利用することで、SequenceMatchは弱い拡張と強い拡張の予測分布間の乖離を減らすのに役立ちます。さらに、SequenceMatchは高信頼度予測と低信頼度予測に対して2つの異なる一貫性制約を定義しています。その結果、SequenceMatchはReMixMatchよりもデータ効率が高く、ReMixMatch($\times4$)やCoMatch($\times2$)よりも時間効率が良く、かつ精度が高いという特徴があります。その単純さにもかかわらず、SequenceMatchはCIFAR-10/100、SVHN、STL-10などの標準ベンチマークで従来の手法を一貫して上回ります。また、ImageNetのような大規模データセットにおいても大幅に優れた性能を示し、38.46%の誤認識率を達成しています。コードはhttps://github.com/beandkay/SequenceMatch で公開されています。

SequenceMatch: 半教師あり学習の弱い強化と強い強化の設計を見直す | 最新論文 | HyperAI超神経