このデータセットは、Alibaba DAMO Academy が 2025 年にリリースしたマルチモーダル教科書データセットです。関連する論文結果は次のとおりです。授業で2.5年：視覚言語事前訓練のためのマルチモーダル教科書」は、マルチモーダル事前トレーニングを強化し、インターリーブされた視覚的およびテキスト入力を処理するモデルの能力を拡張することを目的としています。

このデータセットには、授業ビデオから抽出された650万枚の画像と8億枚のテキストデータが含まれています。すべての画像とテキストは、数学、物理学、化学など6つの基礎科目を網羅したオンライン授業ビデオ（授業時間数22,000時間）から抽出されており、画像とテキストの対応付けに関するより一貫性のある背景情報と豊富な知識を提供します。

チュートリアルビデオからデータセットを構築する例