稀疏概念瓶颈模型：对比学习中的Gumbel技巧

我们提出了一种新颖的可解释分类架构与方法——概念瓶颈模型（Concept Bottleneck Models, CBMs）。尽管当前图像分类任务的最先进（SOTA）方法通常作为“黑箱”运行，但对能够提供可解释结果的模型的需求正日益增长。这类模型通常通过引入目标实例的附加描述信息——即“概念”（concepts），来学习预测类别标签的分布。然而，现有的瓶颈模型方法存在诸多局限：其分类准确率通常低于标准模型，且CBMs需要额外的概念集合才能发挥作用。为此，我们提出一个框架，用于基于预训练的多模态编码器以及新型类似CLIP的架构构建概念瓶颈模型。通过引入一种新型的“概念瓶颈层”（Concept Bottleneck Layers），我们提出了三种训练策略：基于$\ell_1$损失、对比损失，以及基于Gumbel-Softmax分布的损失函数（即稀疏CBM，Sparse-CBM）；而最终的全连接层仍采用交叉熵损失进行训练。实验结果表明，在基于CLIP的瓶颈模型中引入稀疏隐藏层可显著提升分类准确率，这表明概念激活向量的稀疏表示在概念瓶颈模型中具有实际意义。此外，借助我们提出的“概念矩阵搜索”（Concept Matrix Search）算法，可在无需任何额外训练或微调的情况下，有效提升CLIP模型在复杂数据集上的预测性能。相关代码已公开，地址为：https://github.com/Andron00e/SparseCBM。