바닥은 평평하다: 의미론을 활용한 실시간 표면 법선 예측

우리는 단일 RGB 이미지에서 표면 법선(surface normals)과 의미 라벨(semantic labels)을 예측하는 딥러닝 모델의 성능을 크게 향상시키는 4가지 통찰력을 제안합니다. 이 통찰력들은 다음과 같습니다: (1) 학습 세트의 "정답" 표면 법선을 노이즈를 제거하여 의미 라벨과 일관성을 유지하도록 합니다; (2) 합성 데이터와 실제 데이터의 혼합에 대해 동시 학습을 수행하는 것이, 합성 데이터로 사전 학습(pretraining)한 후 실제 데이터로 미세 조정(finetuning)하는 것보다 더 나은 결과를 가져옵니다; (3) 공유 모델(shared model)을 사용하여 법선과 의미를 동시에 예측하지만, 유효한 학습 라벨이 있는 픽셀에 대해서만 오류를 역전파(backpropagate)합니다; (4) 모델의 크기를 줄이고 색상 입력(color inputs) 대신 회색조(grayscale) 입력을 사용합니다. 이러한 단계들이 간단함에도 불구하고, 우리는 여러 데이터셋에서 일관된 성능 향상을 보여주며, 일반적인 모바일 폰에서 12 fps로 실행되는 모델을 사용했습니다.