대장 폴립은 전 세계적으로 암으로 인한 사망의 가장 흔한 원인 중 하나이다. 조기 단계에서 폴립을 조기에 발견하고 제거하면 사망률을 감소시키는 것은 물론 인접한 장기로의 전이를 억제하는 데도 기여할 수 있다. 조기 폴립 탐지 시스템의 도입은 수백만 명의 환자의 생명을 구할 뿐 아니라 임상적 부담도 크게 줄일 수 있다. 그러나 내시경 전문의 간 폴립 탐지율은 상당한 차이를 보이고 있다. 최근에는 다양한 딥러닝 기반의 탐지 방법이 제안되었지만, 대부분의 연구는 정확도 향상에 초점을 맞추고 있다. 본 연구에서는 실시간 처리가 가능하면서도 높은 재현율과 정밀도를 보이는 새로운 아키텍처인 Residual Upsampling Network(RUPNet)을 제안한다. 제안된 RUPNet은 세 개의 인코더, 세 개의 디코더 블록, 그리고 네트워크 후단에 추가된 업샘플링 블록으로 구성된 인코더-디코더 구조를 갖는다. 이미지 크기가 $512 \times 512$인 경우, 제안된 방법은 평균 152.60 프레임/초의 뛰어난 실시간 처리 속도를 달성하였으며, 평균 DICE 계수는 0.7658, 평균 교차율(Intersection over Union, IoU)은 0.6553, 민감도(sensitivity)는 0.8049, 정밀도(precision)는 0.7995, F2-스코어는 0.9361을 기록하였다. 결과적으로 RUPNet은 높은 정확도를 유지하면서도 실시간 피드백을 제공할 수 있음을 시사하며, 조기 폴립 탐지 분야에서 우수한 기준 모델이 될 가능성을 보여준다.