Être continu, ou être discret, tels sont des aspects de la question.

Récemment, la représentation binaire a été proposée comme une nouvelle représentation se situant entre les représentations continues et discrètes. Elle montre une capacité considérable à préserver l'information lorsqu'elle est utilisée pour remplacer les vecteurs d'entrée continus. Dans cet article, nous examinons la faisabilité de son introduction supplémentaire au niveau de la sortie, dans le but de permettre aux modèles de produire des étiquettes binaires plutôt que continues. Pour préserver l'information structurelle du côté de la sortie tout en conservant l'information des étiquettes, nous étendons la méthode de hachage contrastif précédente en hachage contrastif structuré. Plus précisément, nous améliorons CKY (Cocke-Kasami-Younger) du niveau des étiquettes au niveau des bits, définissons une nouvelle fonction de similarité basée sur les probabilités marginales d'étendue, et introduisons une nouvelle fonction de perte contrastive avec une stratégie d'instance sélectionnée soigneusement conçue. Notre modèle obtient des performances compétitives sur diverses tâches de prédiction structurée et démontre que la représentation binaire peut être considérée comme une nouvelle représentation qui réduit davantage l'écart entre la nature continue de l'apprentissage profond et la propriété intrinsèque discrète des langues naturelles.