NVIDIA RTX AIが低精度量子化でFLUX.1 Kontextの画像編集を加速、ダウンロード可能に

主な要約 フリッカーズ（FLUX.1）の最新モデル「FLUX.1 Kontext」がリリースされ、画像生成と編集の分野に新しい風を吹き込んでいます。このモデルは、OpenAIなどに代表されるコミュニティ型の画像生成モデルの一種ですが、特に「画中画編集」に優れており、ユーザーが必要な変更を段階的に追加していけるようになっています。 「FLUX.1 Kontext [dev]」は、従来の画像生成モデルとは異なり、複雑なテキストプロンプトやマスク、深度マップ、エッジマップなどが不要です。これにより、画像の生成過程を直感的かつ柔軟にコントロールすることが可能となり、高度な編集タスクを多段階で行うことが容易になりました。このモデルは、元の画像の意味的一貫性を保ちながら、必要な部分だけを編集することができます。 NVIDIAは、「FLUX.1 Kontext [dev]」をNVIDIA RTX GPU向けに最適化するために、テクスチャランタイム（TensorRT）と量子化技術を用いて高速化とVRAMの削減を実現しました。これにより、より多くのユーザーがこのモデルをローカル環境で利用できるようになっただけでなく、推論コストの削減も達成されました。 技術的な詳細 「FLUX.1 Kontext [dev]」の主要なコンポーネントは、ビジョントランスフォーマーバックボーン、オートエンコーダ、CLIP、T5です。これらのなかでも、トランスフォーマーモジュールが全体の96%の処理時間を占めています。トランスフォーマーの中心的な計算操作は、一般的な行列の乗算（GEMM）とスケールドットプロダクトアテンション（SDPA）で、これらの操作が約75%もの全体の計算時間を占めています。 量子化のアプローチとしては、BF16からFP8への移行によって性能向上が見られ、メモリ帯域幅の要件が減少し、計算スループットが向上しています。しかし、FP8からFP4への移行による性能向上は限定的です。理由として、FP8での量子化が数値安定性を保つため、 Attention 操作が主にFP8で行われ、これが端末から端末までの速度向上を制限していると考えられます。また、コンテクストウィンドウの長さが他のFLUX.1-devモデルよりも倍になっているため、Attention 操作の計算コストが二次的に増大し、FP4のメリットが相対的に減少しています。 統合されたユーザー体験 「FLUX.1 Kontext [dev]」の高速推論と低いメモリ消費量は、クリエイティブなユーザー体験の向上に寄与しています。段階的な編集プロセスにより、ユーザーは複雑な編集タスクを短いサイクルでテストし、反復することが容易になりました。これにより、画像編集がよりインタラクティブなプロセスとなり、創造的なコミュニティが新しいコンテンツ生成手法を取り入れる動機付けとなっているのです。 NVIDIAとの共同開発により、「FLUX.1 Kontext [dev]」はConsumer-gradeのGPUでも扱いやすく、サービスプロバイダーは複数のインスタンスを同時に動作させることができます。これによりスループットの向上とコスト効率の改善が実現しています。 使用例 例えば、元の画像をバウハウススタイルに変換したり、色調をパステルカラーに変更することが可能です。「FLUX.1 Kontext [dev]」は、テキストプロンプトによる直感的な編集が可能なため、画像生成と編集のワークフローを大幅に簡素化しています。 利用可能なプラットフォーム 「FLUX.1 Kontext [dev]」は、ComfyUIやBlack Forest Labsのプレイグラウンドで公開されており、NVIDIA NIMマイクロサービス版も8月にリリース予定です。また、TorchやTensorRT形式のウェイトがHugging Faceからダウンロード可能です。 関連技術の発展 NVIDIAが提供するTensorRT Model Optimizerは、画像生成モデルの推論性能を最大化するための信頼性の高いツールとして機能しています。特に、Transformerアーキテクチャの重要なコンポーネントであるAttention操作の量子化手法は、今後の研究における重要な基盤となっています。 背景の補足 Black Forest Labsは、世界のトップクラスのAI研究機関の一つであり、その「FLUX.1」シリーズは高品質なビジュアルと優れたプロンプト準拠性で知られています。新モデル「FLUX.1 Kontext」は、複数のControlNetや深度マップなどの複雑な入力を必要とせず、自然言語のプロンプトだけで画像生成と編集を行えるようにすることで、ユーザーの利便性を大幅に高めています。 専門家の間では、このモデルの量子化と最適化が、AIの広範な利用を促進すると指摘されています。また、メモリ効率が高いモデルは、一般的なPCでも動作させることが可能となり、AI技術へのアクセスが民主化され、より広範なユーザー層に利用が広まる可能性があります。 その他に関連するAIテクノロジー Googleも先週、新しい多峰模式言語モデル「Gemma 3n」のリリースを発表しました。「Gemma 3n」は、4ビット浮動小数点（FP4）演算をサポートするNVIDIA GeForce RTX GPUやNVIDIA Jetsonプラットフォーム上で優れた性能を発揮します。AI愛好家は、OllamaやLlama.cppなどのアプリケーションと共にGemma 3nを使い、AnythingLLMやLM Studioなどのお気に入りのアプリで実行でき、性能テストによると100 ISL、200 OSLを示しています。 さらに、NVIDIAの「Plug and Play: Project G-Assist Plug-In Hackathon」は、AIの探求とカスタムG-Assistプラグインの開発を招待しており、7月16日水曜日の終了までオンラインで開催されます。参加者には、7月9日水曜日午前10時から11時までのウェビナーが予定されており、Project G-Assistの機能や基礎について学び、ライブQ&Aセッションにも参加できます。 NVIDIAは、Facebook、Instagram、TikTok、XなどのプラットフォームでAI PCの最新情報を伝え、RTX AI PCニュースレターに登録することで最新情報を受け取ることができます。また、「NVIDIA Workstation」にはLinkedInとXでフォローすることができます。 まとめ 「FLUX.1 Kontext [dev]」は、画像生成と編集のプロセスを根本的に変える新モデルです。NVIDIAとの協力により、高性能かつ低メモリ要求のモデルへと最適化され、多くのユーザーが容易に使用できるようになりました。この革新は、創造的なコミュニティにとって大きなインスピレーションとなり、新たなAIの可能性を切り開くことに貢献しています。同時に、Googleによる「Gemma 3n」のリリースも、エッジAIやロボティクス分野での利用を広げる可能性を秘めており、AIテクノロジーのさらなる発展を期待させます。