معيار مرجعي لتصنيف التعليقات السامة في مجموعة بيانات Civil Comments

كشف التعليقات السامة على وسائل التواصل الاجتماعي ثبت أنه ضروري للرقابة على المحتوى. يقارن هذا البحث مجموعة واسعة من النماذج المختلفة على مجموعة بيانات متعددة التصنيفات ومائلة بشكل كبير للكلام البغيض. نأخذ في الاعتبار وقت الاستدلال وعددًا من المقاييس لقياس الأداء والتحيز في مقارنتنا. نوضح أن جميع طرز BERT تحقق أداءً مشابهًا بغض النظر عن حجم النماذج أو التحسينات أو اللغة المستخدمة في التدريب الأولي لها. تعتبر الشبكات العصبية المتكررة (RNNs) أسرع بكثير في الاستدلال مقارنة بأي من طرز BERT. يظل BiLSTM حلًا جيدًا بين الأداء ووقت الاستدلال. يقدم RoBERTa مع خسارة التركيز (Focal Loss) أفضل أداء في التعامل مع التحيزات وAUROC. ومع ذلك، فإن DistilBERT يجمع بين AUROC الجيدة ووقت استدلال قليل. تتأثر جميع النماذج بالتحيز المرتبط بالهويات، حيث تكون BERT و RNN و XLNet أقل حساسية من CNN ومنشآت التحويل المتداخلة المضغوطة (Compact Convolutional Transformers).