Selbstüberwachendes Lernen mit einer Informationsmaximierungs-Kriterium

Selbstüberwachtes Lernen ermöglicht es KI-Systemen, effektive Darstellungen aus großen Datenmengen durch Aufgaben zu erlernen, die keine kostspielige Etikettierung erfordern. Die Modellkollaps-Phänomen, bei dem das Modell für alle Eingaben identische Darstellungen produziert, stellt ein zentrales Problem vieler selbstüberwachter Lernansätze dar und macht selbstüberwachte Aufgaben – wie beispielsweise die Übereinstimmung veränderter Varianten der Eingaben – unwirksam. In diesem Artikel argumentieren wir, dass eine direkte Anwendung der Informationsmaximierung zwischen alternativen latenten Darstellungen derselben Eingabe den Kollapsproblem natürlich löst und wettbewerbsfähige empirische Ergebnisse erzielt. Wir stellen eine selbstüberwachte Lernmethode namens CorInfoMax vor, die eine auf zweiter Ordnung basierende Maßnahme für die gegenseitige Information verwendet, die das Korrelationsniveau zwischen ihren Argumenten widerspiegelt. Die Maximierung dieser korrelativen Informationsmaßnahme zwischen alternativen Darstellungen derselben Eingabe erfüllt zwei Ziele: (1) Sie vermeidet das Kollapsproblem, indem sie Merkmalsvektoren mit nicht ausgearteten Kovarianzen generiert; (2) Sie stellt eine Relevanz zwischen den alternativen Darstellungen her, indem sie die lineare Abhängigkeit zwischen ihnen erhöht. Eine Approximation des vorgeschlagenen Informationsmaximierungsziels vereinfacht sich zu einer auf euklidischen Abständen basierenden Zielfunktion, die durch den Logarithmus der Determinante der Merkmalskovarianzmatrix regularisiert wird. Der Regularisierungsterm wirkt als natürlicher Schutz gegen Degenerierung des Merkmalsraums. Folglich verhindert der vorgeschlagene Ansatz nicht nur einen vollständigen Kollaps der Ausgabe auf einen einzigen Punkt, sondern verhindert auch eine dimensionsbezogene Degeneration, indem er die Verbreitung der Information über den gesamten Merkmalsraum fördert. Numerische Experimente zeigen, dass CorInfoMax Ergebnisse erzielt, die entweder besser oder wettbewerbsfähig im Vergleich zu den aktuellen Stand der Technik im Bereich selbstüberwachten Lernens sind.