HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

AliEdalat bei SemEval-2022 Aufgabe 4: Erkennung von herablassendem und herabwürdigendem Sprachgebrauch mittels fine-tuneten Sprachmodellen, BERT+BiGRU und Ensemble-Modellen

{Behnam Bahrak Yadollah Yaghoobzadeh Ali Edalat}

AliEdalat bei SemEval-2022 Aufgabe 4: Erkennung von herablassendem und herabwürdigendem Sprachgebrauch mittels fine-tuneten Sprachmodellen, BERT+BiGRU und Ensemble-Modellen

Abstract

Diese Arbeit präsentiert die Methodik und Ergebnisse des AliEdalat-Teams für die SemEval-2022-Aufgabe 4: Erkennung von patronisierendem und herablassendem Sprachgebrauch (Patronizing and Condescending Language, PCL). Ziel dieser Aufgabe ist die Erkennung von PCL und der jeweiligen Kategorien in Texten, um eine weitere Diskriminierung von verletzlichen Gemeinschaften zu verhindern. Zur Erkennung des Vorhandenseins von PCL setzen wir einen Ensembles aus drei grundlegenden Modellen ein: fine-tuned BigBird, fine-tuned MPNet und BERT+BiGRU. Das Ensemblesystem erzielt aufgrund von Überanpassung (overfitting) schlechtere Ergebnisse als die Baseline und erreicht einen F1-Score von 0,3031. Wir stellen eine alternative Lösung vor, um das Problem des eingereichten Modells zu beheben. Statt die verschiedenen PCL-Kategorien gemeinsam zu erkennen, betrachten wir sie getrennt. Um jede PCL-Kategorie zu erkennen, agieren wir wie ein spezialisierter PCL-Erkennungssystem. Anstelle von BERT+BiGRU verwenden wir in den Modellen fine-tuned RoBERTa. Bei der Erkennung einzelner PCL-Kategorien übertrifft unser Modell die Baseline und erreicht einen F1-Score von 0,2531. Zudem präsentieren wir neue Modelle zur Erkennung zweier PCL-Kategorien, die die eingereichten Modelle überflügeln.

Benchmarks

BenchmarkMethodikMetriken
binary-condescension-detection-on-dpmensemble model (BigBird and MPNet)
F1-score: 55.1
multi-label-condescension-detection-on-dpmensemble model (BigBird, MPNet)
Macro-F1: 31.6

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
AliEdalat bei SemEval-2022 Aufgabe 4: Erkennung von herablassendem und herabwürdigendem Sprachgebrauch mittels fine-tuneten Sprachmodellen, BERT+BiGRU und Ensemble-Modellen | Forschungsarbeiten | HyperAI