이상에서 현실로: 실제 시나리오를 위한 통합적이고 데이터 효율적인 밀집 예측

밀도 예측 작업은 컴퓨터 비전에서 중요한 역할을 하며, 입력 이미지에 대한 픽셀 단위로 주석된 라벨을 학습하는 것을 목표로 합니다. 이 분야의 발전에도 불구하고, 기존 방법들은 이상화된 조건에 주로 초점을 맞추고 있어 실제 환경으로의 일반화가 제한적이며, 실제 데이터의 부족이라는 어려움에 직면해 있습니다. 이러한 문제를 체계적으로 연구하기 위해, 먼저 25개의 다양한 밀도 예측 작업을 포함하여 급박한 실제 응용 프로그램에 대응하는 벤치마크인 DenseWorld를 소개합니다. 이 벤치마크는 작업 간 통합 평가를 특징으로 합니다. 그 다음으로, 우리는 다양한 실제 밀도 예측 작업을 통합 전략을 통해 수행하기 위해 생성 모델의 시각적 사전 정보를 최대한 활용하는 DenseDiT를 제안합니다. DenseDiT는 매개변수 재사용 메커니즘과 적응적으로 다중 스케일 맥락을 통합하는 두 개의 경량 브랜치를 결합하여, 기준 모델보다 0.1% 미만의 추가 매개변수로 작동합니다. DenseWorld에서의 평가는 기존 일반 및 전문 기반선들의 성능이 크게 저하됨을 보여주어, 이들이 실제 환경으로의 제한적인 일반화 능력을 강조합니다. 반면에, DenseDiT는 기준선 훈련 데이터의 0.01% 미만을 사용하여 우수한 결과를 달성하며, 이를 통해 실제 배포에 대한 실용적 가치를 입증합니다. 우리의 데이터셋, 체크포인트 및 코드는 https://xcltql666.github.io/DenseDiTProj 에서 확인할 수 있습니다.