Viele aktuelle Ansätze im Bereich des Deep Learning nutzen Backbone-Netzwerke, die auf großen Datensätzen wie ImageNet vortrainiert wurden und anschließend für eine spezifische Aufgabe feinabgestimmt werden. In der Fernerkundung erschweren die fehlende Verfügbarkeit vergleichbar großer annotierter Datensätze sowie die große Vielfalt an Sensorenbetriebssystemen eine ähnliche Entwicklung. Um zur Verfügbarkeit vortrainierter Backbone-Netzwerke in der Fernerkundung beizutragen, entwickeln wir einen selbstüberwachten Ansatz zum Vortrainieren tiefer neuronalen Netzwerke. Dies geschieht vollständig ohne Etikettierung, indem die Korrespondenz zwischen geotaggenen Audioaufnahmen und Fernerkundungsbildern ausgenutzt wird, wodurch der zeitaufwendige manuelle Annotation entfallen kann. Hierzu stellen wir den SoundingEarth-Datensatz vor, der aus räumlich ko-lokalisierten Luftbildern und Audioaufnahmen weltweit besteht. Unter Verwendung dieses Datensatzes pre-trainieren wir ResNet-Modelle, um Proben aus beiden Modalitäten in einen gemeinsamen Embedding-Raum abzubilden, wodurch die Modelle dazu angeregt werden, zentrale Eigenschaften einer Szene zu erkennen, die sowohl das visuelle als auch das akustische Erscheinungsbild beeinflussen. Zur Validierung der Wirksamkeit des vorgeschlagenen Ansatzes evaluieren wir die Transfer-Lernleistung der vortrainierten Gewichte im Vergleich zu Gewichten, die auf anderen Wegen erzielt wurden. Durch Feinabstimmung der Modelle auf mehreren gängigen Fernerkundungs-Datensätzen zeigen wir, dass unser Ansatz bestehende Vortrainierungsstrategien für Fernerkundungsbilder übertrifft. Der Datensatz, der zugehörige Code sowie die vortrainierten Modellgewichte werden unter https://github.com/khdlr/SoundingEarth verfügbar gemacht.