要約
最大エントロピー符号化枠組みは、SimSiam、Barlow Twins、MECなど多くの非対照学習手法に対して統一的な視点を提供する。この枠組みに着想を得て、本研究では行列情報理論を活用し、最大エントロピー符号化損失を「行列均一性損失」として解釈する新しいアプローチ、Matrix-SSLを提案する。さらに、Matrix-SSLは最大エントロピー符号化法を強化するため、異なるブランチにおける共分散行列を直接整列する「行列整列損失」を滑らかに組み込む。実験の結果、Linear Evaluation設定におけるImageNetデータセットおよび転移学習タスクにおけるMS-COCOデータセットにおいて、既存の最先端手法を上回る性能を達成した。特にMS-COCOでの転移学習タスクにおいて、従来のSOTA手法であるMoCo v2やBYOLと比較して、400エポックの学習で3.3%の性能向上を達成した（従来手法は800エポックの事前学習を要した）。また、7Bパラメータの言語モデルを微調整する形で、行列クロスエントロピー損失を用いて表現学習を言語モデリング領域に導入したところ、標準的なクロスエントロピー損失と比較してGSM8Kデータセットで3.1%の性能向上を実現した。コードは以下のURLで公開されている：https://github.com/yifanzhang-pro/Matrix-SSL。