HyperAIHyperAI

Command Palette

Search for a command to run...

Représentation de métadonnées catégorielles pour la classification de texte personnalisée

Jihyeok Kim*1 Reinald Kim Amplayo*2 Kyungjae Lee1 Sua Sung1 Minji Seo1 Seung-won Hwang1

Résumé

Les performances de la classification de texte ont considérablement progressé grâce à l'utilisation de modèles neuronaux ingénieusement conçus, en particulier ceux qui intègrent des métadonnées catégorielles comme information supplémentaire, par exemple en utilisant des informations utilisateur/produit pour la classification de sentiments. Ces informations ont été utilisées pour modifier certaines parties du modèle (comme les plongements de mots, les mécanismes d'attention) afin que les résultats puissent être personnalisés selon les métadonnées. Nous constatons cependant que les méthodes actuelles de représentation des métadonnées catégorielles, conçues pour une utilisation humaine, ne sont pas aussi efficaces qu'on le prétend dans les méthodes populaires de classification, et sont même surpassées par une simple concaténation des caractéristiques catégorielles dans la couche finale de l'encodeur de phrases. Nous supposons que les caractéristiques catégorielles sont plus difficiles à représenter pour une utilisation par machine, car le contexte disponible ne décrit la catégorie que de manière indirecte, et même ce contexte est souvent limité (pour les catégories à queue). A cet égard, nous proposons d'utiliser des vecteurs de base pour intégrer efficacement les métadonnées catégorielles dans différentes parties d'un modèle neuronal. Cette approche réduit également drastiquement le nombre de paramètres, en particulier lorsque le nombre de caractéristiques catégorielles est important. Des expériences étendues sur divers jeux de données avec différentes propriétés ont été réalisées et montrent que notre méthode permet une meilleure représentation des métadonnées catégorielles pour personnaliser diverses parties du modèle, y compris celles qui n'ont pas encore été explorées, et améliore considérablement les performances du modèle.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Représentation de métadonnées catégorielles pour la classification de texte personnalisée | Articles | HyperAI