Kontrastives Lernen hat in jüngster Zeit erheblichen Erfolg im selbstüberwachten Lernen erzielt. Bisher ist jedoch weitgehend unklar, warum die gelernten Darstellungen so effektiv auf eine Vielzahl von nachgeschalteten Aufgaben generalisieren. Hier zeigen wir, dass feedforward-Modelle, die mit Zielfunktionen trainiert werden, die der allgemein verwendeten InfoNCE-Familie angehören, daraufhin lernen, die zugrundeliegende generative Modellierung der beobachteten Daten implizit zu invertieren. Obwohl die Beweise bestimmte statistische Annahmen über das generative Modell erfordern, beobachten wir empirisch, dass unsere Ergebnisse auch dann gültig bleiben, wenn diese Annahmen erheblich verletzt werden. Unsere Theorie legt eine fundamentale Verbindung zwischen kontrastivem Lernen, generativer Modellierung und nichtlinearen unabhängigen Komponentenanalyse offen und trägt damit zu einem tieferen Verständnis der gelernten Darstellungen bei sowie zur Ableitung effektiverer kontrastiver Verlustfunktionen auf theoretischer Grundlage.