분할 기반의 두 단계 신경망은 표면 결함 검출 분야에서 상대적으로 적은 수의 샘플로부터 학습할 수 있다는 장점으로 인해 뛰어난 성능을 보여왔다. 본 연구에서는 두 단계 네트워크의 엔드투엔드(End-to-End) 학습을 도입하고, 학습 과정에 여러 개선 사항을 추가함으로써 학습 시간을 단축하고 표면 결함 검출 작업의 성능을 향상시켰다. 엔드투엔드 학습을 가능하게 하기 위해, 분할과 분류 손실 각각의 기여도를 학습 전반에 걸쳐 정교하게 균형을 맞추었다. 분류 손실이 분할 네트워크로 전파되는 기울기 흐름을 조절함으로써 불안정한 특징이 학습 과정을 방해하지 않도록 했다. 또한 학습 과정의 추가적인 개선으로, 학습 중 이미지의 과도한 또는 부족한 샘플링 문제를 해결하기 위해 부정 샘플의 사용 빈도 기반 샘플링 전략을 제안하였다. 더불어, 영역 기반 분할 마스크에 거리 변환 알고리즘을 적용하여 긍정 피처에 대한 가중치를 부여함으로써 결함이 존재할 가능성이 높은 영역에 더 큰 중요도를 부여하였으며, 세부적인 레이블링 없이도 효과적인 학습이 가능하도록 하였다. 제안된 엔드투엔드 학습 방식과 개선 사항들의 성능을 DAGM, KolektorSDD, Severstal Steel 결함 데이터셋 세 가지 결함 검출 데이터셋에서 검증하였으며, 최신 기술 수준의 성능을 달성하였다. 특히 DAGM 및 KolektorSDD 데이터셋에서는 100% 검출률을 달성하여 해당 데이터셋을 완전히 해결함을 보였다. 또한 세 데이터셋에 걸쳐 수행한 추가적인 아블레이션 스터디를 통해 각 제안된 개선 사항이 전체 성능 향상에 기여하는 정도를 정량적으로 입증하였다.