ミックスサンプルを用いたBarlow Twinsの過学習対策

自己教師学習（Self-supervised Learning, SSL）は、ラベル付きデータに依存せずに、下流の応用タスクに適用可能な転移可能な特徴表現を学習することを目的としている。バロウ・ツインズ（Barlow Twins）アルゴリズムは、対照学習法（contrastive learning）と比較して広く採用され、実装が簡潔であることで知られており、共通のノイズや歪みに対して不変性を最大化しつつ、特徴の冗長性を最小化する。この目的関数を最適化することで、ネットワークは有用な表現を学習し、ノイズや定常的な特徴を回避するため、限られた適応条件下でも下流タスクの性能が向上する。バロウ・ツインズの事前学習における実証的な有効性は確立されているが、対照学習法と異なり、サンプル間の強い相互作用が欠如しているため、SSLの目的関数が意図せず特徴の過学習を引き起こす可能性がある。我々の実験から、バロウ・ツインズの目的関数を最適化しても、ある事前学習フェーズを過ぎると表現品質の継続的な向上が保証されず、一部のデータセットでは下流タスクの性能が低下する場合があることが観察された。この課題に対処するため、本研究では「ミックス・バロウ・ツインズ（Mixed Barlow Twins）」を提案する。この手法は、入力空間における線形補間されたサンプルを用いることで、バロウ・ツインズ学習中のサンプル間の相互作用を強化することを目的としている。これにより、元のバロウ・ツインズ目的関数に追加の正則化項が導入され、入力空間における線形補間が特徴空間でも線形補間に相当すると仮定している。この正則化を用いた事前学習により、特徴の過学習が効果的に抑制され、CIFAR-10、CIFAR-100、TinyImageNet、STL-10、ImageNetなどのデータセットにおいて、下流タスクの性能がさらに向上することが確認された。コードおよびモデルチェックポイントは以下のURLから公開されている：https://github.com/wgcban/mix-bt.git