Luis Wiedmann Orr Zohar Amir Mahla Xiaohan Wang Rui Li Thibaud Frere Leandro von Werra Aritra Roy Gosthipaty Andrés Marafioti

要約

視覚言語モデル（VLM）の進展は、一貫性に欠け、汚染された公開データセットが散在する状況によって阻害されている。本研究では、2400万件のサンプルを収集・整備・統合した、同分野で最大規模のオープンリソースである「FineVision」を紹介する。200以上のデータソースを、半自動的で人間が関与するパイプラインを用いて185のサブセットに統合した。このプロセスでは、自動化により大規模なデータ取り込みとスキーママッピングを実施し、レビュアーがマッピングの正確性、出力の妥当性、フォーマットの適切さ、多様性、安全性を検証する。問題が発見されると、対象的な修正と再実行が行われる。さらに、各ソース内およびソース間で厳密な重複削除を実施し、66の公開ベンチマークに対する汚染除去（decontamination）も行っている。FineVisionは、一貫したアクション空間を備えたエージェント型／GUIタスクも含んでおり、レビュアーがスキーマの妥当性を検証し、一部のタスク実行軌跡を検査することで、実行可能かつ忠実な動作の保証を確認している。FineVisionで学習されたモデルは、広範な評価スイートにおいて、従来のオープンデータミックスで学習されたモデルを一貫して上回る性能を示し、スケール、データの清浄性、そして人間の監視と自動化のバランスの重要性を裏付けている。本研究では、このデータコアと整備ツールを公開し、データ中心のVLM研究の加速を図る。