TMComposites : Collaboration Plug-and-Play entre des Machines de Tsetlin spécialisées

Les Machines de Tsetlin (TMs) marquent un changement fondamental par rapport à l’apprentissage automatique basé sur l’arithmétique, en le remplaçant par une approche fondée sur la logique. En supportant la convolution, elles parviennent à traiter efficacement des jeux de données de classification d’images tels que MNIST, Fashion-MNIST et CIFAR-2. Toutefois, les TMs peinent à atteindre des performances de pointe sur CIFAR-10 et CIFAR-100, qui représentent des tâches plus complexes. Ce papier introduit une collaboration plug-and-play entre TMs spécialisées, appelée Composites de TMs. Cette collaboration repose sur la capacité d’une TM à se spécialiser pendant l’apprentissage et à évaluer sa propre compétence pendant l’inférence. En s’associant, les TMs les plus confiantes prennent les décisions, tandis que les moins certaines sont allégées. Ainsi, un Composite de TM devient plus compétent que chacun de ses membres, profitant de leurs spécialisations respectives. Cette collaboration est de type plug-and-play, car les membres peuvent être combinés de manière arbitraire, à tout moment, sans nécessiter de réglage fin (fine-tuning). Dans notre évaluation empirique, nous mettons en œuvre trois spécialisations de TMs : Histogramme de gradients, Seuillage Gaussien Adaptatif et Thermomètres à Couleur. Le Composite de TM résultant améliore la précision sur Fashion-MNIST de deux points de pourcentage, sur CIFAR-10 de douze points, et sur CIFAR-100 de neuf points, établissant ainsi de nouveaux records d’état de l’art pour les TMs. Dans l’ensemble, nous envisageons que les Composites de TMs pourront offrir une alternative ultra-basse consommation et transparente aux architectures d’apprentissage profond de pointe, étendue à un plus grand nombre de tâches et de jeux de données.