ConvTextTM : Un cadre explicatif de machine de Tsetlin convolutive pour la classification de texte

Les avancées récentes en traitement du langage naturel (NLP) ont profondément transformé le paysage industriel, avec des modèles linguistiques puissants tels que GPT-3 qui atteignent des performances supérieures à celles des humains sur diverses tâches. Toutefois, la complexité croissante de ces modèles les rend de plus en plus « des boîtes noires », générant une incertitude quant à leur fonctionnement interne et à leurs processus décisionnels. La Machine de Tsetlin (TM) utilise des clauses conjonctives interprétables par l’humain, fondées sur la logique propositionnelle, afin de résoudre des problèmes complexes de reconnaissance de motifs, et a démontré une performance compétitive dans plusieurs tâches d’NLP. Dans cet article, nous proposons ConvTextTM, une nouvelle architecture de TM convolutive dédiée à la classification de texte. Contrairement aux solutions traditionnelles de TM qui traitent tout le texte comme un ensemble de mots spécifique au corpus (SOW), ConvTextTM découpe le texte en une séquence de fragments textuels. La convolution appliquée aux fragments textuels permet une analyse sensible à la position locale. En outre, ConvTextTM élimine la dépendance vis-à-vis d’un vocabulaire spécifique au corpus. À la place, elle utilise un SOW générique formé par le schéma de tokenisation du modèle Bidirectional Encoder Representations from Transformers (BERT). La convolution permet de lier les tokens entre eux, permettant ainsi à ConvTextTM de surmonter à la fois le problème des mots hors vocabulaire (out-of-vocabulary) et les erreurs d’orthographe. Nous étudions l’explicabilité locale de notre méthode proposée à l’aide de caractéristiques basées sur les clauses. Des expérimentations étendues menées sur sept jeux de données montrent que la précision de ConvTextTM est soit supérieure, soit comparable aux meilleures méthodes de l’état de l’art.