Effizientes Prompting für LLM-basierte generative Internet-of-Things-Anwendungen

Große Sprachmodelle (LLMs) haben bemerkenswerte Fähigkeiten bei verschiedenen Aufgaben gezeigt, und die Integration dieser Fähigkeiten in Anwendungen des Internets der Dinge (IoT) hat in letzter Zeit viel Forschungsinteresse geweckt. Aufgrund von Sicherheitsbedenken vermeiden viele Institutionen den Zugriff auf moderne kommerzielle LLM-Dienste und erfordern die Bereitstellung und Nutzung von Open-Source-LLMs in einer lokalen Netzwerkkonfiguration. Allerdings haben Open-Source-LLMs oft mehr Einschränkungen hinsichtlich ihrer Leistungsfähigkeit, wie zum Beispiel ihre arithmetischen Berechnungs- und Schlussfolgerungsfähigkeiten, und praktische Systeme zur Anwendung von LLMs im IoT-Bereich sind noch nicht ausreichend erforscht. Daher schlagen wir in dieser Studie ein LLM-basiertes generatives IoT-System (GIoT) vor, das in einer lokalen Netzwerkkonfiguration bereitgestellt wird. Um die Einschränkungen der LLMs zu mildern und Dienstleistungen mit wettbewerbsfähiger Leistung zu bieten, wenden wir Methoden des Prompt Engineering an, um die Fähigkeiten der Open-Source-LLMs zu verbessern, und entwerfen ein Prompt-Management-Modul sowie ein Nachbearbeitungsmodul, um angepasste Prompts für verschiedene Aufgaben zu verwalten und die von den LLMs generierten Ergebnisse zu bearbeiten.Um die Effektivität des vorgeschlagenen Systems zu demonstrieren, diskutieren wir eine anspruchsvolle Tabellen-Fragebeantwortungsaufgabe (Table-QA) als Fallstudie des vorgeschlagenen Systems. Tabellarische Daten sind aufgrund ihrer komplexen Strukturen, heterogenen Datentypen und manchmal riesigen Größen meist schwieriger als reiner Text. Wir führen umfassende Experimente auf zwei gängigen Table-QA-Datensätzen durch, und die Ergebnisse zeigen, dass unser Vorschlag eine wettbewerbsfähige Leistung im Vergleich zu modernsten LLMs erzielen kann. Dies beweist, dass das vorgeschlagene LLM-basierte GIoT-System durch angepasste Prompting-Methoden eine wettbewerbsfähige Leistung bietet und sich leicht auf neue Aufgaben ohne Training erweitern lässt.