摘要
自监督学习使人工智能系统能够利用大量数据，通过无需昂贵标注的任务来学习有效的表示。然而，模式坍缩（mode collapse）——即模型对所有输入产生相同表示——是众多自监督学习方法中的核心问题，导致诸如匹配输入不同扭曲版本等自监督任务失效。本文提出，对同一输入的多种潜在表示之间直接应用信息最大化，可自然地解决这一坍缩问题，并取得具有竞争力的实验结果。为此，我们提出一种新的自监督学习方法——CorInfoMax，该方法基于二阶统计量的互信息度量，能够反映其输入变量之间的相关性水平。通过最大化同一输入在不同表示之间的这种相关性信息度量，该方法实现双重目标：（1）通过生成具有非退化协方差的特征向量，有效避免模式坍缩；（2）通过增强不同表示之间的线性相关性，建立它们之间的语义关联。所提出的互信息最大化目标的一个近似形式，简化为一种以特征协方差矩阵的对数行列式作为正则项的欧氏距离目标函数。该正则项在特征空间中形成天然的屏障，有效防止特征空间退化。因此，该方法不仅避免了输出完全坍缩至单一点的问题，还通过促进信息在整个特征空间中的充分分布，防止了维度坍缩。数值实验表明，CorInfoMax在性能上优于或至少可与当前最先进的自监督学习方法相媲美。