Représentation de métadonnées catégorielles pour la classification de texte personnalisée

Les performances de la classification de texte ont considérablement progressé grâce à l'utilisation de modèles neuronaux ingénieusement conçus, en particulier ceux qui intègrent des métadonnées catégorielles comme information supplémentaire, par exemple en utilisant des informations utilisateur/produit pour la classification de sentiments. Ces informations ont été utilisées pour modifier certaines parties du modèle (comme les plongements de mots, les mécanismes d'attention) afin que les résultats puissent être personnalisés selon les métadonnées. Nous constatons cependant que les méthodes actuelles de représentation des métadonnées catégorielles, conçues pour une utilisation humaine, ne sont pas aussi efficaces qu'on le prétend dans les méthodes populaires de classification, et sont même surpassées par une simple concaténation des caractéristiques catégorielles dans la couche finale de l'encodeur de phrases. Nous supposons que les caractéristiques catégorielles sont plus difficiles à représenter pour une utilisation par machine, car le contexte disponible ne décrit la catégorie que de manière indirecte, et même ce contexte est souvent limité (pour les catégories à queue). A cet égard, nous proposons d'utiliser des vecteurs de base pour intégrer efficacement les métadonnées catégorielles dans différentes parties d'un modèle neuronal. Cette approche réduit également drastiquement le nombre de paramètres, en particulier lorsque le nombre de caractéristiques catégorielles est important. Des expériences étendues sur divers jeux de données avec différentes propriétés ont été réalisées et montrent que notre méthode permet une meilleure représentation des métadonnées catégorielles pour personnaliser diverses parties du modèle, y compris celles qui n'ont pas encore été explorées, et améliore considérablement les performances du modèle.