StEduCov：COVID-19パンデミック期におけるオンライン教育に対するツイートにおけるステーント検出に関する探索的かつベンチマーク化されたデータセット

本稿では、新型コロナウイルス感染症（COVID-19）パンデミック期におけるオンライン教育に対する立場分析を目的として、StEduCovと呼ばれる注釈付きデータセットを提示する。StEduCovは、2020年3月から2021年5月までの15か月間にわたり、Twitter APIを用いて収集された16,572件のツイートから構成されており、これらのツイートは手動で「賛成」「反対」「中立」という3つのラベルに注釈付けられている。本データセットに対して、最先端の機械学習モデルと従来のモデルを用いたベンチマーク評価を実施した。具体的には、Transformerベースの双方向エンコーダ表現（Bidirectional Encoder Representations from Transformers, BERT）、長短期記憶ネットワーク（Long Short-Term Memory, LSTM）、畳み込みニューラルネットワーク（Convolutional Neural Networks, CNN）、Attentionを導入したbiLSTM、およびNaive Bayes SVMに加えて、Naive Bayes、ロジスティック回帰、サポートベクターマシン（SVM）、決定木、K近傍法（K-nearest neighbor）、ランダムフォレストといったモデルを訓練した。10分割交差検証における各モデルの平均正解率は、二値分類では75%～84.8%、多クラス分類では52.6%～68%の範囲に分布した。また、モデルの性能は、クラス間の語彙の重複が高いため、および一般テキストで事前学習された深層学習モデルが、COVID-19や遠隔教育といった特定分野の文脈に適応する際に信頼性が低いという点で制約を受けていた。