Command Palette
Search for a command to run...
TrICy : Génération de texte à partir de données guidée par des déclencheurs avec une attention-copie consciente de l'intention
TrICy : Génération de texte à partir de données guidée par des déclencheurs avec une attention-copie consciente de l'intention
Vibhav Agarwal Sourav Ghosh Harichandana BSS Himanshu Arora Barath Raj Kandur Raja
Résumé
La génération de texte à partir de données (D2T) est une tâche cruciale dans de nombreuses applications de compréhension du langage naturel (NLU) et constitue la base des systèmes de dialogue orientés vers des tâches. Dans le contexte des solutions d'IA conversationnelle capables de travailler directement avec les données locales sur l'appareil de l'utilisateur, les architectures utilisant des grands modèles linguistiques pré-entraînés (PLMs) sont peu pratiques pour un déploiement sur appareil en raison d'une empreinte mémoire importante. À cet égard, nous proposons TrICy, un cadre léger innovant pour une tâche D2T améliorée qui génère des séquences textuelles basées sur l'intention dans le contexte et peut être guidée par des déclencheurs fournis par l'utilisateur. Nous utilisons un mécanisme d'attention-copie pour prédire précisément les mots hors vocabulaire (OOV). Les analyses de performance sur le jeu de données E2E NLG (BLEU : 66,43 %, ROUGE-L : 70,14 %), le jeu de données WebNLG (BLEU : Vu 64,08 %, Non vu 52,35 %) et notre jeu de données personnalisé lié aux applications de messagerie texte montrent l'efficacité de notre architecture. De plus, nous montrons que grâce à l'utilisation d'un déclencheur optionnel en entrée, la qualité de la génération de texte à partir de données s'améliore considérablement et atteint le nouveau score SOTA (State Of The Art) de 69,29 % BLEU pour E2E NLG. Nos analyses montrent également que TrICy réalise au moins une amélioration de 24 % en BLEU et de 3 % en METEOR par rapport aux grands modèles linguistiques comme GPT-3, ChatGPT et Llama 2. Enfin, nous démontrons que dans certaines situations, l'amélioration des performances due aux déclencheurs est observée même lorsqu'ils n'étaient pas présents lors de l'entraînement.