Evaluation der Wirksamkeit von Capsule Neural Networks bei der Toxic-Comment-Klassifikation unter Verwendung vortrainierter BERT-Embeddings

Große Sprachmodelle (Large Language Models, LLMs) haben seit ihrer Einführung erhebliches Interesse in den Bereichen Natürliche Sprachverstehen (Natural Language Understanding, NLU) und Natürliche Sprachgenerierung (Natural Language Generation, NLG) hervorgerufen. Im Gegensatz dazu scheint das Erbe der Capsule-Neural-Netzwerke (CapsNet) im Zuge dieser Begeisterung weitgehend in Vergessenheit geraten zu sein. Ziel dieses Projekts ist es, das Interesse an CapsNet wieder zu wecken, indem bisher geschlossene Forschungsansätze erneut erschlossen und eine neue Untersuchung der Potenziale von CapsNet durchgeführt wird. In unserer Studie wird CapsNet eingesetzt, um toxische Texte mithilfe vortrainierter BERT-Einbettungen (bert-base-uncased) auf einem umfangreichen multilingualen Datensatz zu klassifizieren. In diesem Experiment wurde CapsNet mit der Aufgabe betraut, toxische Texte zu kategorisieren. Durch den Vergleich der Leistungsfähigkeit von CapsNet mit anderen Architekturen – beispielsweise DistilBERT, Vanilla Neural Networks (VNN) und Convolutional Neural Networks (CNN) – erreichten wir eine Genauigkeit von 90,44 %. Dieses Ergebnis unterstreicht die Vorteile von CapsNet bei der Verarbeitung von Textdaten und weist auf neue Möglichkeiten hin, deren Leistungsfähigkeit weiter zu steigern, sodass sie mit der von DistilBERT und anderen komprimierten Architekturen vergleichbar wird.