TAFE-Net: 저 샷 학습을 위한 작업 인식 특성 임베딩

이미지에 대한 좋은 특성 임베딩을 학습하는 데는 종종 대규모 훈련 데이터가 필요합니다. 따라서 훈련 데이터가 제한적인 환경(예: 소수 샷(few-shot) 및 제로 샷(zero-shot) 학습)에서는 일반적으로 다양한 작업에 걸쳐 일반적인 특성 임베딩을 사용해야 합니다. 이상적으로는 주어진 작업에 맞게 조정된 특성 임베딩을 구성하고자 합니다. 본 연구에서는 메타 학습 방식으로 이미지 표현을 새로운 작업에 적응시키는 방법을 학습하기 위해 작업 인식 특성 임베딩 네트워크(Task-Aware Feature Embedding Networks, TAFE-Nets)를 제안합니다. 우리의 네트워크는 메타 학습기와 예측 네트워크로 구성됩니다. 작업 입력에 따라 메타 학습기는 예측 네트워크의 특성 계층 파라미터를 생성하여 해당 작업에 정확하게 조정할 수 있도록 합니다. 우리는 TAFE-Net이 새로운 작업이나 개념으로의 일반화 능력이 매우 우수함을 보여주며, 제로 샷 및 소수 샷 학습 벤치마크에서 TAFE-Net의 성능을 평가하였습니다. 우리의 모델은 모든 작업에서 기존 최고 수준의 성능과 일치하거나 이를 초월합니다. 특히, 어려운 시각적 속성-객체 조합 작업에서 우리 접근법은 미확인된 속성-객체 쌍의 예측 정확도를 4~15 포인트 향상시킵니다.