탈선은 철도 사고가 발생하는 가장 흔한 방식 중 하나이다. 궤도의 휨(buckling)과 오목함(hogging)과 같은 결함은 궤도의 정렬을 벗어나게 하여 탈선을 쉽게 유도할 수 있다. 궤도가 휨으로 인해 수평 방향으로 정렬이 어긋날 수 있으며, 오목함은 수직 방향의 정렬 오차를 초래할 수 있다. 이러한 정렬 오차는 시각적으로 쉽게 확인 가능하며, 데이터 기반 모델을 활용해 자동 인식하는 것도 가능하다. 본 논문에서는 이러한 데이터 기반 모델을 구축하는 방법에 대해 논의한다. 현재 이러한 모델을 구축하기 위한 공개 데이터셋은 존재하지 않기 때문에, 우리는 TMD(Track Misalignment Detection, 궤도 정렬 오차 탐지) 데이터셋을 제안한다. 이 데이터셋은 정렬 오차가 있는 궤도 이미지와 정상 궤도 이미지를 포함한다. 본 연구에서 해결하고자 하는 문제는 본질적으로 이진 이미지 분류 문제이며, 이를 전이 학습(Transfer Learning, TL)의 특징 추출 방식을 탐색함으로써 해결한다. 이 접근법에서는 사전 훈련된 네트워크를 활용해 풍부한 특징을 추출하고, 이를 레이블과 함께 학습 알고리즘에 공급하여 후보 TL 모델을 구축한다. 다양한 사전 훈련된 네트워크와 학습 알고리즘이 존재함에 따라 수많은 TL 모델이 생성되며, 따라서 효과적인 모델을 식별하는 것이 필수적이다. 본 논문에서는 이러한 모델을 테스트하기 전에 효과적인 모델인지 판단할 수 있는 평가 기준을 제안한다. 실험 결과, 본 논문에서 제안한 평가 기준에 따라 선정된 TL 모델이 테스트 과정에서 다른 후보 TL 모델보다 실제로 더 우수한 성능을 보임을 확인하였다.