HyperAIHyperAI

Command Palette

Search for a command to run...

Efficient Prompting pour les Modèles de Langue Basés sur les LLM dans l'Internet des Objets Génératif

Bin Xiao Burak Kantarci, Senior Member, IEEE Jiawen Kang, Senior Member, IEEE Dusit Niyato, Fellow, IEEE Mohsen Guizani, Fellow, IEEE

Résumé

Les grands modèles de langage (LLMs) ont démontré des capacités remarquables dans diverses tâches, et l'intégration de ces capacités dans les applications de l'Internet des objets (IoT) a récemment suscité beaucoup d'attention de la part de la recherche. En raison des préoccupations liées à la sécurité, de nombreuses institutions évitent d'accéder aux services commerciaux LLMs les plus avancés, ce qui nécessite le déploiement et l'utilisation de modèles LLMs open source dans un environnement réseau local. Cependant, les modèles LLMs open source présentent généralement plus de limitations en termes de performances, notamment en ce qui concerne leurs capacités de calcul arithmétique et de raisonnement, et les systèmes pratiques d'application des LLMs à l'IoT n'ont pas encore été suffisamment explorés. Par conséquent, nous proposons dans cette étude un système Génératif IoT (GIoT) basé sur LLMs et déployé dans un environnement réseau local. Pour atténuer les limitations des LLMs et offrir un service avec des performances compétitives, nous appliquons des méthodes d'ingénierie des prompts pour améliorer les capacités des modèles LLMs open source, concevons un module de gestion des prompts et un module de post-traitement pour gérer les prompts personnalisés pour différentes tâches et traiter les résultats générés par les LLMs. Afin de démontrer l'efficacité du système proposé, nous abordons une tâche difficile d'interrogation tabulaire (Table-QA) comme cas d'étude du système proposé, car les données tabulaires sont généralement plus complexes que le texte brut en raison de leurs structures complexes, de leurs types de données hétérogènes et parfois de leur grande taille. Nous menons des expériences exhaustives sur deux jeux de données Table-QA populaires, et les résultats montrent que notre proposition peut atteindre des performances compétitives comparées aux modèles LLMs les plus avancés, démontrant ainsi que le système GIoT basé sur LLMs proposé peut fournir des performances compétitives grâce aux méthodes d'ingénierie des prompts personnalisées et qu'il est facilement extensible à de nouvelles tâches sans formation supplémentaire.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp