초록
제한된 데이터 양에서 학습하는, 즉 Few-Shot Learning은 도전적인 컴퓨터 비전 과제로 부각되고 있습니다. 여러 연구에서는 의미론을 활용하여 복잡한 의미론 융합 메커니즘을 설계하여 제한된 데이터 내의 드문 대표적 특성을 보완하려고 합니다. 그러나 클래스 이름과 같은 단순한 의미론에 의존하면 그 간결성으로 인해 편향이 발생하며, 외부 지식에서 광범위한 의미론을 획득하는 것은 많은 시간과 노력이 필요합니다. 이러한 한계는 Few-Shot Learning에서 의미론의 잠재력을 크게 제약합니다. 본 논문에서는 고품질의 의미론을 생성하기 위한 자동화된 방법인 Semantic Evolution(의미 진화)을 설계하였습니다. 고품질의 의미론을 통합함으로써 이전 연구에서 사용된 복잡한 네트워크 구조와 학습 알고리즘이 필요 없어집니다. 따라서, 우리는Semantic Alignment Network(의미 정렬 네트워크)라고 명명된 간단한 두 층짜리 네트워크를 사용하여 의미론과 시각적 특성을 결합하여 풍부한 차별적 특성을 가진 강건한 클래스 프로토타입을 생성합니다. 실험 결과는 우리의 프레임워크가 여섯 개의 벤치마크에서 모든 이전 방법들을 능가한다는 것을 보여주며, 이는 고품질의 의미론을 갖춘 간단한 네트워크가 Few-Shot 분류 과제에서 복잡한 다중 모달 모듈보다 우수할 수 있음을 입증합니다. 코드는 https://github.com/zhangdoudou123/SemFew에서 제공됩니다.