ConvTextTM: Ein erklärbares Faltungs-Tsetlin-Maschinen-Framework für die Textklassifikation
Neuere Fortschritte in der Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) haben die Branche maßgeblich verändert, wobei leistungsstarke Sprachmodelle wie GPT-3 eine übermenschliche Leistung bei einer Vielzahl von Aufgaben erzielen konnten. Allerdings führt die zunehmende Komplexität solcher Modelle dazu, dass sie zu „Schwarzen Kästen“ werden, was Unsicherheit bezüglich ihres internen Ablaufs und ihrer Entscheidungsfindung verursacht. Der Tsetlin Machine (TM) nutzt menscheninterpretierbare konjunktive Aussagen in der Aussagenlogik, um komplexe Mustererkennungsaufgaben zu lösen, und hat sich in verschiedenen NLP-Aufgaben als wettbewerbsfähig erwiesen. In diesem Artikel stellen wir ConvTextTM vor, eine neuartige konvolutionale TM-Architektur für die Textklassifikation. Während herkömmliche TM-Lösungen den gesamten Text als korpus-spezifische Wortmenge (Set-of-Words, SOW) behandeln, zerlegt ConvTextTM den Text in eine Folge von Textfragmenten. Die Konvolution über diese Textfragmente ermöglicht eine lokal positionssensible Analyse. Zudem eliminiert ConvTextTM die Abhängigkeit von einer korpus-spezifischen Vokabular. Stattdessen verwendet sie eine generische SOW, die durch die Tokenisierungsschemata der Bidirektionalen Encoder-Repräsentationen aus Transformers (BERT) gebildet wird. Die Konvolution bindet die Tokens zusammen, wodurch ConvTextTM das Problem der nicht im Vokabular enthaltenen Wörter (Out-of-Vocabulary) sowie Rechtschreibfehler adressieren kann. Wir untersuchen die lokale Erklärbarkeit unseres vorgeschlagenen Ansatzes mittels klausebasierter Merkmale. Umfassende Experimente werden auf sieben Datensätzen durchgeführt, um zu zeigen, dass die Genauigkeit von ConvTextTM entweder überlegen oder mit den besten aktuellen Baselines vergleichbar ist.