要約
多くの重要な自然言語処理（NLP）タスクにおいて事前学習（pre-training）の進展が見られつつあるものの、濃密検索（dense retrieval）における効果的な事前学習戦略の探求は依然として課題である。本論文では、マスク自動エンコーダ（Masked Auto-Encoder, MAE）に基づく新たな検索指向の事前学習枠組みであるRetroMAEを提案する。RetroMAEの特徴は以下の3つの重要な設計に集約される。1）新規のMAEワークフロー：エンコーダとデコーダに異なるマスクを用いて入力文を「汚染」する。エンコーダのマスクされた入力から文埋め込み（sentence embedding）を生成し、その後、この埋め込みとデコーダのマスクされた入力に基づいて、マスク言語モデル（masked language modeling）により元の文を再構成する。2）非対称なモデル構造：エンコーダとして大規模なBERT型Transformerを採用し、デコーダには1層のTransformerを用いる。3）非対称なマスク率：エンコーダには中程度のマスク率（15～30％）、デコーダには積極的なマスク率（50～70％）を設定する。本フレームワークは実装が単純であり、実証的にも高い性能を示す。事前学習モデルは、BEIRやMS MARCOなど幅広い濃密検索ベンチマークにおいて、従来の最良性能（SOTA）を顕著に向上させた。本研究のソースコードおよび事前学習済みモデルは、https://github.com/staoxiao/RetroMAE にて公開されており、さらなる興味深い研究の促進を目的としている。