大規模言語モデル（LLM）は様々なタスクにおいて優れた能力を示しており、最近ではこれらの能力をIoT（Internet of Things）アプリケーションに統合する研究が注目を集めています。セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避けており、オープンソースのLLMをローカルネットワーク環境で展開および利用する必要があります。しかし、オープンソースのLLMは通常、その性能面で制限があり、例えば算術計算や推論能力などがあります。また、LLMをIoTに適用する実用的なシステムについてはまだ十分に研究されていません。本研究では、ローカルネットワーク環境で展開されるLLMベースの生成型IoT（GIoT）システムを提案します。このシステムでは、オープンソースのLLMの制限を軽減し、競争力のある性能を提供するためにプロンプトエンジニアリング手法を適用し、異なるタスク向けにカスタマイズされたプロンプトを管理するプロンプト管理モジュールと、LLMによって生成された結果を処理する後処理モジュールを設計しています。提案システムの有効性を示すために、表形式データに対する質問応答（Table-QA）という難易度の高いタスクについてケーススタディとして議論します。表形式データは複雑な構造や異種データ型を持つことが多く、また時折非常に大きなサイズになるため、平文よりも扱いにくいことが多いからです。我々は2つの人気のあるTable-QAデータセットを使用して包括的な実験を行い、その結果は提案手法が最先端のLLMと比較しても競争力のある性能を達成できることを示しています。これにより、提案したプロンプトカスタマイズ手法によるLLMベースのGIoTシステムが競争力のある性能を提供できることと、新たなタスクへの容易な拡張性があることが証明されました。