HyperAIHyperAI

Command Palette

Search for a command to run...

Réexaminer la représentation et l'injection des attributs pour la classification de sentiment

Reinald Kim Amplayo

Résumé

Les attributs textuels, tels que les informations sur l'utilisateur et le produit dans les avis de produits, ont été utilisés pour améliorer les performances des modèles de classification d'opinion. La méthode de facto consiste à les intégrer sous forme de biais supplémentaires dans le mécanisme d'attention, et des gains de performance supplémentaires sont obtenus en étendant l'architecture du modèle. Dans cet article, nous montrons que la méthode mentionnée ci-dessus est la moins efficace pour représenter et injecter les attributs. Pour démontrer cette hypothèse, contrairement aux modèles précédents avec des architectures complexes, nous limitons notre modèle de base à un simple BiLSTM avec classificateur d'attention, et nous nous concentrons plutôt sur la manière et l'endroit où les attributs doivent être intégrés dans le modèle. Nous proposons de représenter les attributs comme des matrices de poids d'importance par segment et d'envisager quatre emplacements dans le modèle (c'est-à-dire l'emplacement d'embedding, encodage, mécanisme d'attention et classificateur) pour injecter les attributs. Les expériences montrent que notre méthode proposée réalise des améliorations significatives par rapport à l'approche standard et que le mécanisme d'attention est le pire endroit pour injecter les attributs, contredisant ainsi les travaux antérieurs. Nous surpassons également l'état de l'art malgré l'utilisation d'un modèle de base simple. Enfin, nous montrons que ces représentations se transposent bien à d'autres tâches. L'implémentation du modèle et les jeux de données sont disponibles ici : https://github.com/rktamplayo/CHIM.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Réexaminer la représentation et l'injection des attributs pour la classification de sentiment | Articles | HyperAI