제한된 계산 예산 내에서 픽셀별 라벨링 작업의 간결한 추론을 달성하기 위해, 우리는 깊은 합성곱 네트워크의 각 층에서 공간 위치의 부분 집합을 선택적으로 처리하도록 학습하는 \emph{픽셀별 주의 게이팅} 유닛(\emph{PAG})을 제안합니다. PAG는 일반적인, 아키텍처에 독립적인, 문제에 무관한 메커니즘으로 기존 모델에 미세 조정(fine-tuning)만으로 쉽게 적용할 수 있습니다. 우리는 PAG를 두 가지 방식으로 활용합니다: 1) 다중 스케일 풀링과 관련된 추가 계산 비용 없이 모델 성능을 개선하는 공간 변동 풀링 필드를 학습하고, 2) 정확도를 유지하면서 전체 계산량을 줄이는 각 픽셀에 대한 동적 계산 정책을 학습합니다.우리는 PAG를 의미 분할, 경계 검출, 단일 화소 깊이 및 표면 법선 추정 등 다양한 픽셀별 라벨링 작업에서 폭넓게 평가했습니다. 실험 결과 PAG가 이러한 작업에서 경쟁력 있는 혹은 최신 연구 수준(state-of-the-art)의 성능을 제공함을 입증하였습니다. 우리의 실험은 PAG가 입력 이미지 위에서 동적으로 계산량을 공간적으로 할당하여 관련 접근법(예: 깊은 모델 절단(truncating deep models) 또는 전체 층을 동적으로 건너뛰기(dynamically skipping whole layers))보다 더 나은 성능 대비 효율성을 제공함을 보여주었습니다. 일반적으로, PAG는 10%의 계산량 감소를 이끌어내면서도 정확도와 성능에 눈에 띄는 손실 없음을 관찰하였으며, 더욱 강한 계산 제약 조건이 부과될 때 성능 저하가 우아하게 이루어짐을 확인하였습니다.