DetectiumFire マルチモーダル火災理解データセット
DetectiumFireは、チューレーン大学とアアルト大学が共同で2025年に公開したデータセットで、炎検知、視覚的推論、マルチモーダル生成といったタスク向けに設計されています。関連する研究論文のタイトルは「…」です。DetectiumFire: 火災理解のための視覚と言語を繋ぐ包括的なマルチモーダルデータセット「Flame Scene」トラックは、コンピューター ビジョンとビジョン言語モデルのための統合されたトレーニングおよび評価リソースを提供することを目的として、NeurIPS 2025 データセットおよびベンチマーク トラックに組み込まれました。
このデータセットには、145,000枚を超える高品質な実際の火災画像と25,000本の火災関連動画が含まれています。実際のデータに加えて、拡散モデルを用いて生成された8,000枚の合成火災画像と、モデルの整合を強化するためにRLHFプロセスから厳選された12,000の嗜好ペアが含まれています。このデータセットは、実際の炎と非炎の画像と動画の両方を網羅し、炎の強度、環境情報、テキストによる説明、そして人間の嗜好に関する注釈が付与されています。データセットは、実際の画像、実際の動画、拡散モデルによって生成された合成炎画像、そして一対比較に基づく人間の嗜好データの4つの部分で構成されています。合成画像はYOLO形式の検出注釈を提供し、嗜好データは生成品質に関する人間の判断を記録します。
データセットの構成:
- 実画像
- 火:リアルな炎の画像とYOLO形式の注釈
- non_fire: 炎は含まれないが、混同しやすい難しいネガ (明るい光、煙、夕日など)。
- リアルビデオ(real_video)
- 火災:目に見える炎を映した実際のビデオ映像
- non_fire: 火のないシーン。堅牢性テストに使用されます。
- 合成画像
- stable_diff_v15/train: SFT ファインチューニング + YOLO アノテーションを使用した画像生成
- dpo_stable_diff_v15/train: DPO による生成画像の微調整 + YOLO アノテーション
- 嗜好データ(preference_dataset)
- preference.json: RLHF/DPO トレーニングに使用される、ペア生成された画像に対する人間の好みの比較と解釈。
