16日前

FixMatch:一貫性と信頼度を活用した半教師付き学習の簡素化

Kihyuk Sohn, David Berthelot, Chun-Liang Li, Zizhao Zhang, Nicholas Carlini, Ekin D. Cubuk, Alex Kurakin, Han Zhang, Colin Raffel
FixMatch:一貫性と信頼度を活用した半教師付き学習の簡素化
要約

半教師あり学習(Semi-supervised Learning, SSL)は、ラベルなしデータを有効に活用してモデルの性能を向上させる有効な手法である。本論文では、2つの一般的なSSL手法である一貫性正則化(consistency regularization)と擬ラベル化(pseudo-labeling)を単純に組み合わせることの効力を示す。我々が提案するアルゴリズムFixMatchは、ラベルなし画像に対して弱い変換(weak augmentation)を施した際のモデルの予測結果をもとに擬ラベルを生成する。ある画像に対しては、モデルが高信頼度の予測を出力した場合にのみ、その擬ラベルを保持する。その後、同じ画像に対して強い変換(strong augmentation)を施したバージョンをモデルに入力し、その出力がその擬ラベルと一致するように学習を行う。この手法は極めてシンプルであるが、CIFAR-10においてラベル数250枚の条件下で94.93%の精度、ラベル数40枚(クラスあたりたった4枚)の条件下で88.61%の精度を達成し、さまざまな標準的な半教師あり学習ベンチマークにおいて最先端の性能を示した。FixMatchは既存の性能が劣るSSL手法と多くの類似点を持つため、その成功に寄与する主な実験的要因を明らかにするために、包括的なアブレーションスタディを実施した。本研究のコードは、https://github.com/google-research/fixmatch にて公開している。

FixMatch:一貫性と信頼度を活用した半教師付き学習の簡素化 | 最新論文 | HyperAI超神経