HyperAIHyperAI

Command Palette

Search for a command to run...

Réexamen des réseaux LSTM pour la classification de texte semi-supervisée via une fonction objectif mixte

Devendra Singh Sachan; Manzil Zaheer; Ruslan Salakhutdinov

Résumé

Dans cet article, nous étudions le réseau LSTM bidirectionnel pour la tâche de classification de texte en utilisant des approches supervisées et semi-supervisées. Plusieurs travaux antérieurs ont suggéré que soit des schémas d'entraînement préalable complexes utilisant des méthodes non supervisées telles que la modélisation linguistique (Dai et Le 2015 ; Miyato, Dai et Goodfellow 2016), soit des modèles compliqués (Johnson et Zhang 2017) sont nécessaires pour atteindre une haute précision de classification. Cependant, nous développons une stratégie d'entraînement qui permet même à un modèle BiLSTM simple, lorsqu'il est entraîné avec une perte de cross-entropie, d'obtenir des résultats compétitifs par rapport aux approches plus complexes. De plus, en plus de la perte de cross-entropie, en utilisant une combinaison de minimisation d'entropie, pertes adversariales et virtuellement adversariales pour les données étiquetées et non étiquetées, nous rapportons des résultats de pointe pour la tâche de classification de texte sur plusieurs jeux de données de référence. En particulier, sur les jeux de données ACL-IMDB pour l'analyse de sentiment et AG-News pour la classification thématique, notre méthode surpassent les approches actuelles avec une marge substantielle. Nous montrons également la généralité de la fonction objectif mixte en améliorant les performances sur la tâche d'extraction de relations.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp