11日前

制約のないラベルなしデータを用いた半教師付き学習のスケーリングアップ

Shuvendu Roy, Ali Etemad
制約のないラベルなしデータを用いた半教師付き学習のスケーリングアップ
要約

我々は、制約のないラベルなしデータから効果的な表現を学習可能である半教師あり学習フレームワーク「UnMixMatch」を提案する。既存の多くの半教師あり学習手法は、ラベル付きデータとラベルなしデータが同一の分布から抽出されているという仮定に依存しているが、この仮定は自由に利用可能なラベルなしデータを活用した性能向上の可能性を制限している。その結果、半教師あり学習の汎化性能およびスケーラビリティは、しばしばこの仮定によって阻害される。本手法は、こうした制約を克服し、半教師あり学習において制約のないラベルなしデータを効果的に活用することを目的としている。UnMixMatchは、以下の3つの主要な構成要素からなる:強化されたデータ増強を用いた教師あり学習者(強力な正則化を提供)、ラベルなしデータから潜在的な表現を学ぶための対照的一貫性正則化項、およびラベルなしデータから学習される表現を強化するための自己教師学習損失。我々は4つの一般的に用いられるデータセット上で広範な実験を行い、既存の半教師あり学習手法と比較して優れた性能を示し、性能向上率は4.79%に達した。さらに、豊富なアブレーションおよび感度分析により、本手法で提案する各構成要素の有効性と影響力が明確に示された。

制約のないラベルなしデータを用いた半教師付き学習のスケーリングアップ | 最新論文 | HyperAI超神経