エッジアプリ開発向けAIモデルを数コマンドで実行

エヌビディアは、データセンター外でのAI活用拡大を受けて、エッジ開発者がわずかなコマンドでモデルを実行できる開発環境を公開した。DGX Sparkの64GB構成とTensorRT Edge-LLMにより、ドライバー注意監視、ロボットの環境理解、工場での協調制御といった物理AI向けに、メモリ・電力・遅延の制約が厳しい現場でのプロトタイプ開発を簡素化する。同環境はSparkでの開発とJetson Thor、DRIVE AGX Thor、IGX Thorでの配布に同一推論基盤を提供。trtedge CLIでモデル取得とTensorRTエンジン構築を自動化し、初回には約21GBのダウンロードとエンジン生成が必要だが、キャッシュにより再実行が高速化する。 チュートリアルではCUDA 13、TensorRT 10.16.1.11以上、Python 3.10～3.12環境で、テキスト専用モデルのNemotron-3.5 Lightningを実行。仮想環境でTensorRT Edge-LLMを導入し、チャット対話とOpenAI互換APIを提供する。さらにDSpark推測的デコーディングを有効化すると、ドラフトモデルで複数トークンを候補生成し本体モデルが一括検証する仕組みで、速度を向上できる。DGX Spark 64GBの実測では、SpeedBenchとHumanEvalのプロンプトにおいて推測的デコーディングなしで約73トークン毎秒だが、有効時は約105～127トークン毎秒へ向上し、推論中のピークメモリはOS込みで27.9GB。今後は画像・動画、音声認識、音声合成などの対応モデルや、対象プラットフォーム向け手順も進む。