要約
我々は、継続的自己教師学習（CSSL）における効果的な表現学習を実現するための新規な擬似負例正則化（Pseudo-Negative Regularization; PNR）フレームワークを提案する。本PNRは、モデルに基づく増幅（augmentation）によって得られた擬似負例を活用し、新たに学習した表現が過去に学習された内容と矛盾しないように制御する。具体的には、InfoNCEに基づく対比学習手法において、現在のモデルと過去のモデルから得られる対称的な擬似負例を定義し、主損失項および正則化損失項の両方に用いる。さらに、 inherently 負例に依存しない非対比学習手法に対してもこのアイデアを拡張する。このような手法では、擬似負例を、アンカーサンプルの異なる増幅バージョンに対する過去のモデルの出力として定義し、正則化項に非対称に適用する。広範な実験結果から、本PNRフレームワークが、柔軟性（plasticity）と安定性（stability）のトレードオフを効果的に平衡させることで、CSSLにおける表現学習において最先端の性能を達成することが示された。