프롬프트 유도 트랜스포머를 활용한 다중 작업 밀도 예측

작업 조건부 아키텍처는 파라미터 효율성 측면에서 장점을 제공하지만, 최첨단 다중 디코더 방법에 비해 성능 측면에서 미흡한 점이 있다. 성능과 모델 파라미터 수 사이의 균형을 어떻게 맞출 것인지라는 것은 중요한 동시에 도전적인 문제이다. 본 논문에서는 이 도전 과제를 최적화하기 위해 간단하고 가벼운 작업 조건부 모델인 Prompt Guided Transformer(PGT)를 제안한다. 본 연구에서는 작업별 프롬프트를 자기주의(self-attention) 메커니즘에 통합하여 전역적 의존성 모델링과 다중 작업 간 파라미터 효율적인 특징 적응을 달성하는 프롬프트 조건부 트랜스포머 블록을 설계하였다. 이 블록은 공유 인코더와 디코더 양쪽에 통합되어 내부 및 상호 작업 특징을 더욱 효과적으로 포착할 수 있도록 한다. 또한, 파라미터 사용을 추가로 줄이기 위해 경량 디코더를 설계하였으며, 이는 전체 모델 파라미터의 2.7%에 불과하다. PASCAL-Context와 NYUD-v2라는 두 가지 다중 작업 밀도 예측 벤치마크에서 실시한 광범위한 실험을 통해, 본 방법은 작업 조건부 기법 중 최고 수준의 성능을 달성하면서도 더 적은 파라미터를 사용함으로써 성능과 파라미터 크기 사이에 뛰어난 균형을 유지함을 입증하였다.