In dieser Arbeit präsentieren wir einen informationstheoretischen Rahmen, der die Vortrainierung mehrsprachiger Sprachmodelle als Maximierung der gegenseitigen Information zwischen mehrsprachigen, mehrgranularen Texten formuliert. Diese einheitliche Perspektive ermöglicht es uns, bestehende Methoden zur Lernung mehrsprachiger Repräsentationen besser zu verstehen. Vor allem inspiriert durch diesen Rahmen schlagen wir eine neue Vortrainierungsaufgabe vor, die auf kontrastivem Lernen basiert. Konkret betrachten wir ein bilingualer Satzpaar als zwei Perspektiven desselben Sinns und fördern, dass ihre kodierten Repräsentationen ähnlicher sind als die von negativen Beispielen. Durch die gleichzeitige Nutzung monolingualer und paralleler Korpora trainieren wir die Vorläuferaufgaben gemeinsam, um die Übertragbarkeit mehrsprachiger Vortrainierter Modelle zu verbessern. Experimentelle Ergebnisse auf mehreren Benchmarks zeigen, dass unsere Methode erheblich bessere Leistung erzielt. Der Quellcode und die vortrainierten Modelle sind unter https://aka.ms/infoxlm verfügbar.