要約
BERTをはじめとするTransformerベースのモデルは、自然言語処理における幅広いタスクにおいて、最新の性能を達成している。大規模なコーパスを用いた汎用的な事前学習により、Transformerモデルはタスク固有の微調整に必要なデータ量が少ない場合でも優れた性能を発揮することができる。本研究では、こうしたBERTをEC（電子商取引）における製品マッチングタスクに適用し、他の最先端手法と比較して、はるかに訓練データ効率が優れていることを示した。さらに、大規模な製品オファー集を活用した中間段階の学習を導入することで、モデルの有効性をさらに高められることを明らかにした。この中間段階の学習により、特定の製品に特化した微調整を行わずに、新たな未観測製品に対して90％以上のF1スコアを達成する強力な性能を発揮することができる。その後の微調整によりさらなる性能向上が得られ、小規模な訓練データセットにおいて最大12％のF1スコア向上が実現した。また、中間段階の学習にマスク言語モデル（masked language modeling）の目的関数を追加することで、言語モデルをアプリケーション領域にさらに適応させることで、さらに最大3％のF1スコア向上が得られた。