HyperAIHyperAI

Command Palette

Search for a command to run...

Être continu, ou être discret, tels sont des aspects de la question.

Yiran Wang Masao Utiyama

Résumé

Récemment, la représentation binaire a été proposée comme une nouvelle représentation se situant entre les représentations continues et discrètes. Elle montre une capacité considérable à préserver l'information lorsqu'elle est utilisée pour remplacer les vecteurs d'entrée continus. Dans cet article, nous examinons la faisabilité de son introduction supplémentaire au niveau de la sortie, dans le but de permettre aux modèles de produire des étiquettes binaires plutôt que continues. Pour préserver l'information structurelle du côté de la sortie tout en conservant l'information des étiquettes, nous étendons la méthode de hachage contrastif précédente en hachage contrastif structuré. Plus précisément, nous améliorons CKY (Cocke-Kasami-Younger) du niveau des étiquettes au niveau des bits, définissons une nouvelle fonction de similarité basée sur les probabilités marginales d'étendue, et introduisons une nouvelle fonction de perte contrastive avec une stratégie d'instance sélectionnée soigneusement conçue. Notre modèle obtient des performances compétitives sur diverses tâches de prédiction structurée et démontre que la représentation binaire peut être considérée comme une nouvelle représentation qui réduit davantage l'écart entre la nature continue de l'apprentissage profond et la propriété intrinsèque discrète des langues naturelles.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Être continu, ou être discret, tels sont des aspects de la question. | Articles | HyperAI