17 天前

TMComposites:专用Tsetlin Machines之间的即插即用协作

Ole-Christoffer Granmo
TMComposites:专用Tsetlin Machines之间的即插即用协作
摘要

Tsetlin Machines(TMs)实现了从基于算术的机器学习到基于逻辑的机器学习的根本性转变。尽管TMs能够支持卷积操作,并在MNIST、Fashion-MNIST和CIFAR-2等图像分类数据集上取得良好表现,但在更复杂的任务——如CIFAR-10和CIFAR-100——上,其性能仍难以达到当前最先进水平。本文提出一种可即插即用的专用TMs协同机制,称为TM组合(TM Composites)。该协作机制依赖于TMs在学习过程中实现专业化,以及在推理阶段评估自身能力的能力。在协同工作中,最具信心的TMs主导决策,从而减轻不确定性较高的TMs的负担。通过这种方式,TM组合的整体能力超越其各个成员,充分受益于各成员的专业化优势。该协作机制具有即插即用特性:成员可任意组合,随时接入,无需额外微调。在实验评估中,我们实现了三种TMs的专业化变体:梯度直方图(Histogram of Gradients)、自适应高斯阈值化(Adaptive Gaussian Thresholding)和颜色温度计(Color Thermometers)。实验结果表明,所提出的TM组合在Fashion-MNIST上将准确率提升了两个百分点,在CIFAR-10上提升了十二个百分点,在CIFAR-100上提升了九个百分点,从而在TMs领域创造了新的最先进性能纪录。总体而言,我们展望TM组合将为更多任务和数据集提供一种超低功耗且高度可解释的替代方案,有望在更广泛场景中实现对当前主流深度学习技术的超越。