情報最大化基準を用いた自己教師学習

自己教師学習（self-supervised learning, SSL）は、高コストなラベル付けを必要としないタスクを用いて、大量のデータから効果的な表現を学習する手法である。しかし、多くの自己教師学習アプローチにおいて、モード崩壊（mode collapse） と呼ばれる問題が中心的な障害となっている。これは、すべての入力に対して同一の表現を出力してしまう現象であり、入力の変形版同士を一致させるなどの典型的な自己教師学習タスクの有効性を損なう。本稿では、同一入力に対する複数の代替的潜在表現間における情報最大化の直感的な適用が、この崩壊問題を自然に解決し、優れた実験的成果を達成できることを主張する。そこで、本研究では、2次統計量に基づく相互情報量測度を用いる自己教師学習手法「CorInfoMax」を提案する。この測度は、引数間の相関の程度を反映する。同一入力の代替表現間でこの相関情報量を最大化することで、以下の2つの目的が達成される：（1）特徴ベクトルの共分散行列が退化（非正則）しないようにすることで、モード崩壊を回避；（2）線形従属性の増加を通じて、代替表現間の関連性を確立。提案する情報最大化目的関数の近似は、特徴共分散行列の対数行列式を正則化項として含む、ユークリッド距離に基づく目的関数に簡略化される。この正則化項は、特徴空間の退化を自然に防ぐバリアとして機能する。その結果、単一の点への完全な出力崩壊を回避するだけでなく、情報が特徴空間全体に均等に分散するよう促進することで、次元崩壊（dimensional collapse）の防止も実現する。数値実験の結果、CorInfoMaxは最先端の自己教師学習手法と比較して、同等または優れた性能を達成することが示された。