Efficient Prompting pour les Modèles de Langue Basés sur les LLM dans l'Internet des Objets Génératif

Les grands modèles de langage (LLMs) ont démontré des capacités remarquables dans diverses tâches, et l'intégration de ces capacités dans les applications de l'Internet des objets (IoT) a récemment suscité beaucoup d'attention de la part de la recherche. En raison des préoccupations liées à la sécurité, de nombreuses institutions évitent d'accéder aux services commerciaux LLMs les plus avancés, ce qui nécessite le déploiement et l'utilisation de modèles LLMs open source dans un environnement réseau local. Cependant, les modèles LLMs open source présentent généralement plus de limitations en termes de performances, notamment en ce qui concerne leurs capacités de calcul arithmétique et de raisonnement, et les systèmes pratiques d'application des LLMs à l'IoT n'ont pas encore été suffisamment explorés. Par conséquent, nous proposons dans cette étude un système Génératif IoT (GIoT) basé sur LLMs et déployé dans un environnement réseau local. Pour atténuer les limitations des LLMs et offrir un service avec des performances compétitives, nous appliquons des méthodes d'ingénierie des prompts pour améliorer les capacités des modèles LLMs open source, concevons un module de gestion des prompts et un module de post-traitement pour gérer les prompts personnalisés pour différentes tâches et traiter les résultats générés par les LLMs. Afin de démontrer l'efficacité du système proposé, nous abordons une tâche difficile d'interrogation tabulaire (Table-QA) comme cas d'étude du système proposé, car les données tabulaires sont généralement plus complexes que le texte brut en raison de leurs structures complexes, de leurs types de données hétérogènes et parfois de leur grande taille. Nous menons des expériences exhaustives sur deux jeux de données Table-QA populaires, et les résultats montrent que notre proposition peut atteindre des performances compétitives comparées aux modèles LLMs les plus avancés, démontrant ainsi que le système GIoT basé sur LLMs proposé peut fournir des performances compétitives grâce aux méthodes d'ingénierie des prompts personnalisées et qu'il est facilement extensible à de nouvelles tâches sans formation supplémentaire.