MultiBench は、体系的かつ統合された大規模なマルチモーダル学習ベンチマークであり、15 のデータセット、10 のモダリティ、20 の予測タスク、および 6 つの研究分野をカバーしています。 MultiBench は、データの読み込み、実験のセットアップ、モデルの評価を簡素化および標準化する、自動化されたエンドツーエンドの機械学習パイプラインを提供します。全体的な評価を可能にするために、MultiBench は、(1) 一般化、(2) 時間と空間の複雑さ、および (3) モードのロバスト性を研究するための評価方法を提供します。