Le déraillement est l'une des causes les plus fréquentes d'accidents ferroviaires. Des défauts du rail, tels que le gauchissement (buckling) et le creusement (hogging), qui entraînent une déformation latérale ou verticale des voies, peuvent facilement provoquer des déraillements. Alors que le gauchissement provoque une déformation latérale des rails, le creusement engendre une déformation verticale. Ces déformations sont visuellement identifiables, et il est même possible de les détecter automatiquement à l’aide de modèles fondés sur les données. Ce papier présente la méthode utilisée pour concevoir de tels modèles fondés sur les données. Aucun jeu de données public n’est actuellement disponible pour développer de tels modèles ; nous introduisons donc le jeu de données TMD (Track Misalignment Detection), composé d’images de voies normales et de voies déformées. Le problème traité ici relève fondamentalement d’une classification binaire d’images, que nous résolvons en explorant une approche d’extraction de caractéristiques basée sur le transfert de connaissances (transfer learning, TL). Dans cette méthode, un réseau pré-entraîné est utilisé pour extraire des caractéristiques riches, qui sont ensuite fournies à un algorithme d’apprentissage, accompagnées d’étiquettes, afin de construire un modèle candidat de transfert de connaissances. Étant donné qu’un grand nombre de réseaux pré-entraînés et d’algorithmes d’apprentissage sont disponibles, cela donne lieu à une multitude de modèles TL ; il devient donc essentiel de pouvoir identifier ceux qui sont les plus efficaces. Nous proposons un critère d’évaluation permettant de sélectionner les modèles efficaces, même avant leur test expérimental. Nos expérimentations démontrent que les modèles TL sélectionnés selon notre critère d’évaluation proposée se distinguent effectivement par une meilleure performance par rapport aux autres modèles candidats lors des tests.