UCIT（正式名称はUnseen Continual Instruction Tuning）は、マルチモーダル大規模言語モデルの継続的な命令チューニングのベンチマークデータセットであり、2025年に中国科学院自動化研究所、先端学際科学学院、中国科学院大学人工知能学院によって共同でリリースされました。HiDe-LLaVA: マルチモーダル大規模言語モデルの継続的命令チューニングのための階層的分離”。

このデータセットには、厳選された6つのタスクサブセットが含まれており、それぞれが教師ありファインチューニング中にモデルが遭遇しなかったタスクタイプに対応しています。これらを組み合わせることで、モデルの適応性と構造維持能力を公平に評価できる、挑戦的な「未知のタスク」テストセットが形成されます。各サンプルは、タスクプロンプト／指示と、それに対応する期待される正しい実行（グラウンドトゥルース応答）で構成されており、ゼロショット条件下でのモデルのパフォーマンスを測定するために使用されます。