Xuezheng Chen Zhengbo Zou

要約

建設現場の安全点検は、通常、人間の検査員が現場で安全上の懸念事項を特定する作業である。近年、強力な視覚言語モデル（VLM）の発展に伴い、研究者たちは現場画像から安全規則違反を検出するといったタスクにおけるVLMの活用が検討されている。しかし、建設現場の安全点検におけるVLMの包括的な評価およびさらなる微調整を可能にするオープンデータセットは依然として不足している。現在のVLMの応用例は、小規模な教師ありデータセットに依存しており、直接訓練されていないタスクへの適用性に制限がある。本論文では、画像キャプション、安全規則違反に関する視覚的質問応答（VQA）、建設要素の視覚的接地の3つの相互関連したタスクを対象とした、10,000枚の建設現場画像とそのアノテーションを含む「ConstructionSite 10k」を提案する。さらに、最先端の大規模事前学習済みVLMの性能を評価した結果、ゼロショットおよびフェイショット設定において顕著な汎化能力を示したが、実際の建設現場での適用にはさらなる訓練が必要であることが明らかになった。本データセットにより、研究者は新たなアーキテクチャや技術を用いたVLMの学習・評価が可能となり、建設現場の安全点検における貴重なベンチマークを提供する。