HyperAIHyperAI

Command Palette

Search for a command to run...

ConvTextTM: Ein erklärbares Faltungs-Tsetlin-Maschinen-Frame­work für die Textklassifikation

Lei Jiao Ole-Christoffer Granmo Bimal Bhattarai

Zusammenfassung

Neuere Fortschritte in der Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) haben die Branche maßgeblich verändert, wobei leistungsstarke Sprachmodelle wie GPT-3 eine übermenschliche Leistung bei einer Vielzahl von Aufgaben erzielen konnten. Allerdings führt die zunehmende Komplexität solcher Modelle dazu, dass sie zu „Schwarzen Kästen“ werden, was Unsicherheit bezüglich ihres internen Ablaufs und ihrer Entscheidungsfindung verursacht. Der Tsetlin Machine (TM) nutzt menscheninterpretierbare konjunktive Aussagen in der Aussagenlogik, um komplexe Mustererkennungsaufgaben zu lösen, und hat sich in verschiedenen NLP-Aufgaben als wettbewerbsfähig erwiesen. In diesem Artikel stellen wir ConvTextTM vor, eine neuartige konvolutionale TM-Architektur für die Textklassifikation. Während herkömmliche TM-Lösungen den gesamten Text als korpus-spezifische Wortmenge (Set-of-Words, SOW) behandeln, zerlegt ConvTextTM den Text in eine Folge von Textfragmenten. Die Konvolution über diese Textfragmente ermöglicht eine lokal positionssensible Analyse. Zudem eliminiert ConvTextTM die Abhängigkeit von einer korpus-spezifischen Vokabular. Stattdessen verwendet sie eine generische SOW, die durch die Tokenisierungsschemata der Bidirektionalen Encoder-Repräsentationen aus Transformers (BERT) gebildet wird. Die Konvolution bindet die Tokens zusammen, wodurch ConvTextTM das Problem der nicht im Vokabular enthaltenen Wörter (Out-of-Vocabulary) sowie Rechtschreibfehler adressieren kann. Wir untersuchen die lokale Erklärbarkeit unseres vorgeschlagenen Ansatzes mittels klausebasierter Merkmale. Umfassende Experimente werden auf sieben Datensätzen durchgeführt, um zu zeigen, dass die Genauigkeit von ConvTextTM entweder überlegen oder mit den besten aktuellen Baselines vergleichbar ist.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp