本稿では、前立腺摘出術における全体的かつ多粒度な手術シーン理解を目的としたGraSP（Holistic and Multi-Granular Surgical Scene Understanding of Prostatectomies）データセットを提示する。このデータセットは、異なる粒度を持つ補完的なタスクの階層構造として手術シーン理解をモデル化した、体系的に構築されたベンチマークである。本研究のアプローチは、手術フェーズや手順の認識といった長期的なタスクと、手術器具のセグメンテーションや原子的な視覚的行動の検出といった短期的なタスクを包括する。本研究で提案するベンチマークを活用するため、TAPIS（Transformers for Actions, Phases, Steps, and Instrument Segmentation）モデルを導入する。TAPISは、全体的な動画特徴抽出器と、器具セグメンテーションモデルから得られる局所的な領域提案を統合した汎用的なアーキテクチャであり、本ベンチマークの多粒度性に対応する。本研究では、自らのベンチマークおよび他の代替ベンチマークにおいて広範な実験を実施し、TAPISが多様なタスクにおいて高い汎用性と最先端の性能を示すことを実証した。本研究は内視鏡視覚分野における基盤的進展を示し、今後の全体的で包括的な手術シーン理解を指向した研究に新たなフレームワークを提供するものである。