最近のドメイン固有のBERTモデルに関する研究では、モデルをドメイン内データで事前学習させることにより、下流タスクでの効果が向上することが示されています。これらのモデルで使用される事前学習データは、生物学やコンピュータサイエンスなどの主題に基づいて選択されることが多いです。ソーシャルメディアテキストの多様な用途とその独特な言語特性に鑑み、我々はツイートとフォーラムテキストそれぞれに対して2つのモデルを事前学習させ、これらのリソースの効果を実証的に示しました。さらに、類似度測定手法がどのようにしてドメイン内事前学習データの選定に利用できるかについて調査を行いました。我々の事前学習済みモデルは、https://bit.ly/35RpTf0 にて公開しています。