ScatSimCLR：小規模データセット向けの事前タスク正則化を用いた自己教師付き対照学習

本稿では、複数の視点間における対照的損失（contrastive loss）に基づく自己教師学習手法について、小規模データセットにおける分類タスクにおいて最先端の性能を示すものとして検討する。報告された結果にもかかわらず、訓練の複雑さに伴う複雑なアーキテクチャの必要性、データ拡張によって生成される視点数の要件、およびそれらが分類精度に与える影響については、十分に検討されていない未解決の問題である。これらの要因の役割を明らかにするために、SimCLRのような対照的損失システムのアーキテクチャを採用し、ベースラインモデルとして幾何学的不変性を有する「手作業で設計された」ネットワークであるScatNetを用い、その上に小さな可学習アダプタネットワークを接続する手法を提案する。本手法により、全体のパラメータ数および必要な視点数を大幅に削減しつつ、実用的な範囲で同等の分類精度を維持可能であることを示す。さらに、回転やジグソーパズル型の並べ替えといったデータ拡張変換のパラメータ推定に基づく事前タスク学習を用いた正則化戦略が、従来のベースラインモデルおよびScatNetを用いたモデルの両方に対してどのように影響を与えるかを検討する。最終的に、本研究で提案するアーキテクチャに事前タスク学習に基づく正則化を導入することで、より少ない可学習パラメータ数およびより少ない視点数で、最先端の分類性能を達成できることを実証する。