Image Chat : Conversations Engageantes et Fondées

Pour atteindre l'objectif à long terme de permettre aux machines d'engager des conversations avec les humains, nos modèles doivent captiver l'intérêt de leurs interlocuteurs. La communication basée sur des images, où un dialogue est mené à partir d'une photo donnée, est une configuration naturellement attrayante pour les humains (Hu et al., 2014). Dans cette étude, nous examinons des architectures et des ensembles de données à grande échelle pour cet objectif. Nous testons une série d'architectures neuronales utilisant des représentations d'images et de texte de pointe, en considérant diverses méthodes pour fusionner les composants. Pour tester ces modèles, nous collectons un ensemble de données de conversations humaines-humaines ancrées dans des images, où les locuteurs sont invités à jouer des rôles en fonction d'un mood ou d'un style émotionnel fourni, car l'utilisation de telles caractéristiques est également un facteur clé pour susciter l'engagement (Guo et al., 2019). Notre ensemble de données, Image-Chat, comprend 202 000 dialogues sur 202 000 images en utilisant 215 traits stylistiques possibles. Les métriques automatiques et les évaluations humaines de l'engagement montrent l'efficacité de notre approche ; en particulier, nous obtenons des performances de pointe sur la tâche IGC existante, et notre modèle le plus performant est presque au niveau des humains sur l'ensemble de test Image-Chat (préféré 47,7 % du temps).