HyperAIHyperAI

Command Palette

Search for a command to run...

Un Modèle de Réseau Neuronal Hybride pour la Raisonnement de Sens Commun

Pengcheng He; Xiaodong Liu; Weizhu Chen; Jianfeng Gao

Résumé

Ce papier propose un modèle de réseau neuronal hybride (HNN) pour le raisonnement de sens commun. L'HNN est composé de deux sous-modèles : un modèle de langage masqué et un modèle de similarité sémantique, qui partagent un encodeur contextuel basé sur BERT mais utilisent des couches d'entrée et de sortie spécifiques à chaque modèle. L'HNN obtient de nouveaux résultats d'état de l'art sur trois tâches classiques de raisonnement de sens commun, portant le benchmark WNLI à 89 %, le benchmark du Défi Winograd (WSC) à 75,1 % et le benchmark PDP60 à 90,0 %. Une étude d'ablation montre que les modèles de langage et les modèles de similarité sémantique sont des approches complémentaires pour le raisonnement de sens commun, et que l'HNN combine efficacement leurs forces respectives. Le code source et les modèles pré-entraînés seront mis à disposition publiquement sur https://github.com/namisan/mt-dnn.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp