비록 ImageNet과 같은 잘 알려진 대규모 데이터셋이 이미지 이해 기술의 발전을 이끌어왔지만, 대부분의 이러한 데이터셋은 광범위한 수동 라벨링을 필요로 하므로 확장성이 낮다는 문제가 있다. 이는 이미지 이해 기술의 발전을 제한한다. 이러한 대규모 데이터셋의 영향은 거의 모든 비전 작업과 기법에서 초기화를 위한 사전 훈련(pre-training) 형태로 관찰할 수 있다. 본 연구에서는 어떤 의미적 RGB 세그멘테이션 방법이라도 사전 훈련에 사용할 수 있는 확장성이 용이하고 자기지도 학습(self-supervised) 기반의 기법을 제안한다. 특히, 본 연구의 사전 훈련 방법은 깊이 센서(depth sensor)를 이용해 자동으로 생성된 라벨을 활용한다. 이러한 라벨을 HN-라벨(HN-labels)이라 하며, 각각 다른 높이(height)와 법선(normal) 패치를 나타내며, 의미적 RGB 세그멘테이션 작업에 유용한 국부적 의미 정보를 탐색할 수 있게 한다. 본 연구에서는 ImageNet 사전 훈련을 대체할 수 있음을 보여주며, 이미지 수를 25배 줄이고 수동 라벨링 없이도 효과적인 사전 훈련이 가능함을 입증한다. 제안하는 HN-라벨을 활용해 의미적 세그멘테이션 네트워크를 사전 훈련할 경우, ImageNet에서의 분류 작업과 같이 관련성이 낮은 작업이 아닌, 최종 작업과 더 유사한 조건에서 훈련이 가능하다. 두 데이터셋(NYUv2 및 CamVid)에서 실험을 수행한 결과, 작업 간 유사성이 사전 훈련 과정의 속도를 높이는 데만 그치지 않고, ImageNet 사전 훈련보다 더 높은 최종 의미적 세그멘테이션 정확도를 달성하는 데도 유리함을 보여준다.