大腸内視鏡検査は現在、大腸がんのスクリーニング方法の中で最も感度が高い手法の一つです。本研究では、知能型大腸内視鏡技術の最先端とその多モーダル医療応用への将来の影響について調査します。この目的のために、まず大腸内視鏡シーン認識における4つのタスク（分類、検出、セグメンテーション、ビジョン-言語理解）を通じて、現行のデータ中心およびモデル中心の動向を評価します。この評価により、ドメイン固有の課題を特定し、大腸内視鏡における多モーダル研究がさらなる探求の余地があることが明らかになります。多モーダル時代を迎えるために、私たちは以下の3つの基盤的な取り組みを確立しました：大規模な多モーダル指示調整データセット「ColonINST」、大腸内視鏡向けに設計された多モーダル言語モデル「ColonGPT」、および多モーダルベンチマーク。急速に進化するこの分野の継続的な監視を支援するために、最新情報を提供する公開ウェブサイトを設けています：https://github.com/ai4colonoscopy/IntelliScope。