HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

ConvTextTM: Ein erklärbares Faltungs-Tsetlin-Maschinen-Frame­work für die Textklassifikation

{Lei Jiao Ole-Christoffer Granmo Bimal Bhattarai}

ConvTextTM: Ein erklärbares Faltungs-Tsetlin-Maschinen-Frame­work für die Textklassifikation

Abstract

Neuere Fortschritte in der Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) haben die Branche maßgeblich verändert, wobei leistungsstarke Sprachmodelle wie GPT-3 eine übermenschliche Leistung bei einer Vielzahl von Aufgaben erzielen konnten. Allerdings führt die zunehmende Komplexität solcher Modelle dazu, dass sie zu „Schwarzen Kästen“ werden, was Unsicherheit bezüglich ihres internen Ablaufs und ihrer Entscheidungsfindung verursacht. Der Tsetlin Machine (TM) nutzt menscheninterpretierbare konjunktive Aussagen in der Aussagenlogik, um komplexe Mustererkennungsaufgaben zu lösen, und hat sich in verschiedenen NLP-Aufgaben als wettbewerbsfähig erwiesen. In diesem Artikel stellen wir ConvTextTM vor, eine neuartige konvolutionale TM-Architektur für die Textklassifikation. Während herkömmliche TM-Lösungen den gesamten Text als korpus-spezifische Wortmenge (Set-of-Words, SOW) behandeln, zerlegt ConvTextTM den Text in eine Folge von Textfragmenten. Die Konvolution über diese Textfragmente ermöglicht eine lokal positionssensible Analyse. Zudem eliminiert ConvTextTM die Abhängigkeit von einer korpus-spezifischen Vokabular. Stattdessen verwendet sie eine generische SOW, die durch die Tokenisierungsschemata der Bidirektionalen Encoder-Repräsentationen aus Transformers (BERT) gebildet wird. Die Konvolution bindet die Tokens zusammen, wodurch ConvTextTM das Problem der nicht im Vokabular enthaltenen Wörter (Out-of-Vocabulary) sowie Rechtschreibfehler adressieren kann. Wir untersuchen die lokale Erklärbarkeit unseres vorgeschlagenen Ansatzes mittels klausebasierter Merkmale. Umfassende Experimente werden auf sieben Datensätzen durchgeführt, um zu zeigen, dass die Genauigkeit von ConvTextTM entweder überlegen oder mit den besten aktuellen Baselines vergleichbar ist.

Benchmarks

BenchmarkMethodikMetriken
document-classification-on-wos-5736ConvTextTM
Accuracy: 91.28
fake-news-detection-on-politifactConvolutional Tsetlin Machine
1:1 Accuracy: 91.21
text-classification-on-r8ConvTextTM
Accuracy: 96.4

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
ConvTextTM: Ein erklärbares Faltungs-Tsetlin-Maschinen-Frame­work für die Textklassifikation | Forschungsarbeiten | HyperAI