ドメインに依存しない自己教師付き学習のための自己指導型マスク付きオートエンコーダー

自己教師あり学習（self-supervised learning）は、大量のラベルなしデータから表現を学習する点で優れており、複数のデータモダリティにわたり成功を収めている。しかし、既存の手法は各ドメインに特化した設計を採用しているため（例えば、タスクに内在する不変性を反映するドメイン固有のデータ拡張手法など）、新たなモダリティへの拡張は容易ではない。一方で、入力データの拡張に依存しない点から、マスクモデリング（masked modeling）はドメインに依存しない自己教師あり学習の枠組みとして有望視されている。しかしながら、現行のマスクサンプリング手順は依然としてドメイン依存性を有している。本研究では、完全にドメインに依存しないマスクモデリング手法として、自己誘導型マスク自動エンコーダ（Self-guided Masked Autoencoders: SMA）を提案する。SMAは、マスクのサンプリング方法をドメイン特有の仮定なしに学習することで、アテンションベースのモデルをマスクモデリングの目的関数に基づいて訓練する。我々は、タンパク質生物学、化学的性質予測、素粒子物理学の3つの自己教師あり学習ベンチマークにおいてSMAの性能を評価した。その結果、SMAはドメイン特有の知識なしに表現を学習可能であり、これらのベンチマークにおいて最先端の性能を達成することを確認した。