HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

ConvTextTM : Un cadre explicatif de machine de Tsetlin convolutive pour la classification de texte

{Lei Jiao Ole-Christoffer Granmo Bimal Bhattarai}

ConvTextTM : Un cadre explicatif de machine de Tsetlin convolutive pour la classification de texte

Résumé

Les avancées récentes en traitement du langage naturel (NLP) ont profondément transformé le paysage industriel, avec des modèles linguistiques puissants tels que GPT-3 qui atteignent des performances supérieures à celles des humains sur diverses tâches. Toutefois, la complexité croissante de ces modèles les rend de plus en plus « des boîtes noires », générant une incertitude quant à leur fonctionnement interne et à leurs processus décisionnels. La Machine de Tsetlin (TM) utilise des clauses conjonctives interprétables par l’humain, fondées sur la logique propositionnelle, afin de résoudre des problèmes complexes de reconnaissance de motifs, et a démontré une performance compétitive dans plusieurs tâches d’NLP. Dans cet article, nous proposons ConvTextTM, une nouvelle architecture de TM convolutive dédiée à la classification de texte. Contrairement aux solutions traditionnelles de TM qui traitent tout le texte comme un ensemble de mots spécifique au corpus (SOW), ConvTextTM découpe le texte en une séquence de fragments textuels. La convolution appliquée aux fragments textuels permet une analyse sensible à la position locale. En outre, ConvTextTM élimine la dépendance vis-à-vis d’un vocabulaire spécifique au corpus. À la place, elle utilise un SOW générique formé par le schéma de tokenisation du modèle Bidirectional Encoder Representations from Transformers (BERT). La convolution permet de lier les tokens entre eux, permettant ainsi à ConvTextTM de surmonter à la fois le problème des mots hors vocabulaire (out-of-vocabulary) et les erreurs d’orthographe. Nous étudions l’explicabilité locale de notre méthode proposée à l’aide de caractéristiques basées sur les clauses. Des expérimentations étendues menées sur sept jeux de données montrent que la précision de ConvTextTM est soit supérieure, soit comparable aux meilleures méthodes de l’état de l’art.

Benchmarks

BenchmarkMéthodologieMétriques
document-classification-on-wos-5736ConvTextTM
Accuracy: 91.28
fake-news-detection-on-politifactConvolutional Tsetlin Machine
1:1 Accuracy: 91.21
text-classification-on-r8ConvTextTM
Accuracy: 96.4

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
ConvTextTM : Un cadre explicatif de machine de Tsetlin convolutive pour la classification de texte | Articles de recherche | HyperAI