Ajustement de logit zéro-shot

L'apprentissage zéro-shot généralisé basé sur les descripteurs sémantiques (GZSL) soulève des défis importants en ce qui concerne la reconnaissance de classes nouvelles lors de la phase de test. Le développement des modèles génératifs permet aux techniques actuelles de GZSL d'explorer plus profondément le lien entre sémantique et vision, aboutissant à une architecture en deux étapes composée d'un générateur et d'un classificateur. Toutefois, les méthodes génératives existantes se concentrent principalement sur l'amélioration de la performance du générateur, tout en négligeant l'optimisation du classificateur. Dans ce travail, nous analysons tout d'abord deux propriétés des échantillons pseudo-inconnus générés : le biais et l'homogénéité. Ensuite, nous appliquons une inférence bayésienne variationnelle afin de dériver rétroactivement des métriques d'évaluation qui reflètent l'équilibre entre les classes vues et les classes non vues. En conséquence de cette dérivation, les deux propriétés mentionnées sont intégrées dans l'entraînement du classificateur sous la forme de priori vu-inconnu via un ajustement des logits. L'ajustement des logits zéro-shot met ainsi pleinement en œuvre des classificateurs fondés sur la sémantique dans le cadre des méthodes GZSL basées sur la génération. Nos expérimentations montrent que la technique proposée atteint un état de l'art lorsqu'elle est combinée à un générateur de base, et qu'elle améliore efficacement diverses architectures de apprentissage zéro-shot génératives. Le code source est disponible à l'adresse suivante : https://github.com/cdb342/IJCAI-2022-ZLA.