Classification zéro-shot basée sur le calcul hyperdimensionnel

La classification basée sur l’apprentissage zéro-shot (ZSL) correspond à la capacité d’un modèle à classifier des entrées appartenant à des classes nouvelles, sur lesquelles il n’a jamais été entraîné. L’un des approches privilégiées pour résoudre cette tâche exigeante consiste à fournir une description auxiliaire sous la forme d’un ensemble d’attributs décrivant les nouvelles classes impliquées dans la classification ZSL. Dans ce travail, inspiré par le calcul hyperdimensionnel (HDC), nous proposons d’utiliser des codebooks binaires stationnaires de représentations distribuées de type symbole à l’intérieur d’un encodeur d’attributs, afin de représenter de manière compacte un modèle entraînable end-to-end à faible coût computationnel, que nous nommons Hyperdimensional Computing Zero-shot Classifier (HDC-ZSC). Ce modèle se compose d’un encodeur d’images entraînable, d’un encodeur d’attributs basé sur HDC, et d’un noyau de similarité. Nous démontrons que HDC-ZSC peut être utilisé initialement pour des tâches de extraction d’attributs zéro-shot, puis réutilisé ultérieurement pour des tâches de classification zéro-shot avec des modifications architecturales minimales et un réentraînement minimal. HDC-ZSC atteint des résultats Pareto-optimaux, avec une précision au top-1 de 63,8 % sur le jeu de données CUB-200, tout en ne disposant que de 26,6 millions de paramètres entraînables. En comparaison avec deux autres approches non génératives de pointe, HDC-ZSC obtient une précision supérieure de 4,3 % et 9,9 % respectivement, tout en nécessitant moins de 1,85x et 1,72x de paramètres par rapport à ces méthodes.