TMComposites: Plug-and-Play-Kooperation zwischen spezialisierten Tsetlin Machines

Tsetlin Machines (TMs) stellen einen grundlegenden Wandel von arithmetikbasiertem zu logikbasiertem maschinellem Lernen dar. Durch die Unterstützung von Faltungen können sie Bildklassifikationsdatensätze wie MNIST, Fashion-MNIST und CIFAR-2 erfolgreich verarbeiten. Doch die Leistung von TMs bleibt bei CIFAR-10 und CIFAR-100, die komplexere Aufgaben darstellen, unterhalb der State-of-the-Art-Ergebnisse. In diesem Artikel stellen wir eine plug-and-play-Kooperation zwischen spezialisierten TMs vor, die als TM-Composites bezeichnet werden. Diese Kooperation beruht auf der Fähigkeit eines TMs, sich während des Lernprozesses zu spezialisieren, sowie auf der Fähigkeit, während der Inferenz seine Kompetenz zu bewerten. Bei der Zusammenarbeit treffen die zuversichtlichsten TMs die Entscheidungen, während die unsichereren entlastet werden. Auf diese Weise wird ein TM-Composite kompetenter als seine Einzelmember, wobei es von deren Spezialisierungen profitiert. Die Kooperation ist plug-and-play, da die Mitglieder beliebig kombiniert werden können, jederzeit und ohne feinabgestimmte Anpassung. In unserer empirischen Evaluierung implementieren wir drei Spezialisierungen von TMs: Histogramm der Gradienten, adaptive Gaußsche Schwellenwertbildung und Farbthermometer. Das resultierende TM-Composite steigert die Genauigkeit auf Fashion-MNIST um zwei Prozentpunkte, auf CIFAR-10 um zwölf und auf CIFAR-100 um neun Prozentpunkte und erzielt damit neue State-of-the-Art-Ergebnisse für TMs. Insgesamt sehen wir in TM-Composites eine vielversprechende, ultra-niedrigenergetische und transparente Alternative zu State-of-the-Art-Deep-Learning-Verfahren für eine breitere Palette von Aufgaben und Datensätzen.