Civil Comments データセットにおける毒性コメント分類のベンチマーク

ソーシャルメディア上の有害なコメントの検出は、コンテンツモデレーションにおいて重要な役割を果たしています。本論文では、非常に偏ったマルチラベルのヘイトスピーチデータセットに対して、多様なモデルを比較しています。推論時間と性能およびバイアスを測定するためのいくつかの指標を考慮して比較を行いました。結果として、モデルの事前学習に使用されたサイズ、最適化や言語に関わらず、すべてのBERTが類似した性能を示すことが確認されました。RNNは、推論速度において他のどのBERTよりも優れています。BiLSTMは、性能と推論時間の両面で良好なバランスを保っています。Focal Lossを使用したRoBERTaは、バイアスとAUROC（Area Under the Receiver Operating Characteristic curve）において最高の性能を発揮しました。しかし、DistilBERTは高いAUROCと低い推論時間を兼ね備えています。すべてのモデルがアイデンティティとの関連性によるバイアスに影響を受けていることがわかりました。BERT, RNN, および XLNet は、CNN および Compact Convolutional Transformers よりもこのバイアスに敏感ではありません。注：「Focal Loss」（フォーカルロス）、「AUROC」（オーロック）、「Compact Convolutional Transformers」（コンパクト畳み込みトランスフォーマー）などの専門用語については一般的な日本語訳を使用しましたが、「Compact Convolutional Transformers」はあまり一般的ではないため、原文も併記しました。