Barlow Twins：冗長性低減を用いた自己教師学習

自己教師あり学習（Self-supervised learning, SSL）は、大規模なコンピュータビジョンベンチマークにおいて、教師あり学習法との差を急速に縮めつつある。SSLの成功したアプローチの一つは、入力サンプルの変形に対して不変な埋め込み（embedding）を学習することである。しかし、このアプローチには繰り返し見られる問題として、自明な定数解（trivial constant solutions）の存在がある。現在の多くの手法は、こうした解を回避するために細かな実装上の工夫を施している。本研究では、同一のネットワークの二つの出力間のクロス相関行列を、入力サンプルの変形版をそれぞれ与えた際に測定し、それを単位行列にできるだけ近づけることを目的関数として提案する。この目的関数により、サンプルの変形版に対する埋め込みベクトルが類似するようになりつつ、そのベクトルの各成分間の冗長性を最小化する。この手法は、神経科学者H. バロウの「冗長性低減原理」（redundancy-reduction principle）を同一のネットワークペアに適用したことに由来し、「バロウツインズ（Barlow Twins）」と命名した。バロウツインズは、大規模なバッチサイズや、ネットワークペア間の非対称性（例：予測ネットワーク、勾配の停止、重み更新の移動平均など）を必要としない。興味深いことに、非常に高次元の出力ベクトルを用いることで性能が向上する。バロウツインズは、データ量が少ない状況におけるImageNetでの半教師あり分類において、従来の手法を上回り、線形分類器ヘッドを用いたImageNet分類および分類・物体検出の転移学習タスクにおいても、現在の最先端技術と同等の性能を達成している。