HyperAIHyperAI

Command Palette

Search for a command to run...

Distiller un ensemble de parseurs de dépendances gloutons en un seul parseur MST

Adhiguna Kuncoro Miguel Ballesteros Lingpeng Kong Chris Dyer Noah A. Smith

Résumé

Nous présentons deux analyseurs de dépendances basés sur des graphes du premier ordre atteignant un nouveau niveau d'excellence. Le premier est un analyseur par consensus construit à partir d'un ensemble d'analyseurs de transition LSTM gourmands formés indépendamment avec différentes initialisations aléatoires. Nous conceptualisons cette approche comme une décodification minimisant le risque de Bayes (sous le coût de Hamming) et soutenons que la faiblesse du consensus au sein de l'ensemble est un signal utile de difficulté ou d'ambiguïté. Le deuxième analyseur est une « distillation » de l'ensemble en un seul modèle. Nous formons l'analyseur distillé en utilisant un objectif de perte charnière structurée avec un coût novateur qui intègre les estimations d'incertitude de l'ensemble pour chaque attachement possible, évitant ainsi les calculs d'entropie croisée irréalisables nécessités par l'application des objectifs de distillation standards aux problèmes à sorties structurées. L'analyseur distillé du premier ordre égale ou dépasse l'état de l'art en anglais, chinois et allemand.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp