Auszweichen ist eine der häufigsten Ursachen für Eisenbahnunfälle. Gleisdefekte wie Wellenbildung (Buckling) und Hohlbogen (Hogging), die zu einer Verschiebung der Gleislagen führen, können leicht zu Ausweichen führen. Während laterale Verschiebungen durch Buckling verursacht werden, entstehen vertikale Unregelmäßigkeiten durch Hogging. Solche Unregelmäßigkeiten sind visuell erkennbar, und ihre Erkennung lässt sich sogar automatisieren, indem datenbasierte Modelle eingesetzt werden. In diesem Artikel diskutieren wir, wie solche datenbasierten Modelle entwickelt werden. Da bisher keine öffentlich verfügbaren Datensätze existieren, um derartige Modelle zu trainieren, stellen wir den TMD-Datensatz (Track Misalignment Detection) vor. Er besteht aus Bildern von fehlerhaften und normalen Gleislagen. Das zu lösende Problem ist grundsätzlich eine binäre Bildklassifikation, die wir durch den Einsatz von Transfer-Learning (TL) mit Merkmalsextraktion lösen. Dabei nutzen wir ein vortrainiertes Netzwerk, um reichhaltige Merkmale zu extrahieren, die anschließend zusammen mit Annotationen einem Lernalgorithmus zur Erstellung eines Kandidaten-TL-Modells zur Verfügung gestellt werden. Da mehrere vortrainierte Netzwerke und Lernalgorithmen existieren, entstehen zahlreiche mögliche TL-Modelle, weshalb es entscheidend wird, effektive Modelle zu identifizieren. Wir schlagen daher ein Bewertungskriterium vor, das es erlaubt, effektive Modelle bereits vor der Testphase zu erkennen. Unsere Experimente zeigen, dass die auf Basis unseres vorgeschlagenen Bewertungskriteriums ausgewählten TL-Modelle tatsächlich während der Tests eine bessere Leistung erzielen als andere Kandidaten-TL-Modelle.