Wärmebrücken sind schwache Bereiche von Gebäudewänden, die im Vergleich zu benachbarten Bereichen eine höhere Wärmeleitfähigkeit aufweisen und somit mehr Wärme nach außen abführen. Sie verursachen einen erhöhten Energieverbrauch und fördern die Schimmelbildung. Mit einem neuronalen Netzwerkansatz demonstrieren wir eine Methode zur automatischen Erkennung von Wärmebrücken auf Dächern von Gebäuden anhand von Panoramabildern von ganzen Stadtteilen, die mittels Drohnen aufgenommen wurden. Zur Trainingsdatenbasis entwickelten wir eine Datensammlung mit insgesamt 917 Bildern und 6895 Annotationen. Die Bilder enthalten neben den herkömmlichen RGB-Daten thermische Informationen zur Erkennung von Wärmebrücken sowie eine Höhenkarte zur Identifikation von Dächern. Aufgrund der geringen Datensatzgröße erreicht unser Ansatz derzeit lediglich eine durchschnittliche Recall-Rate von 9,4 % @IoU:0,5–0,95 (14,4 % für große Objekte). Dennoch erkennt unser Ansatz strukturelle Merkmale zuverlässig ausschließlich auf Dächern und nicht auf anderen Gebäudeteilen, ohne dass zusätzliche Segmentierungsarbeiten an Gebäudeteilen erforderlich sind.