細粒度行動の同時セグメンテーションと分類は、人間-ロボット協働、動画監視、および人間のスキル評価といった応用において重要である。しかし、大規模な行動分類において近年著しい進展が見られた一方で、最先端の細粒度行動認識手法の性能は依然として低い状態にある。本研究では、低レベルの時空間特徴と高レベルのセグメンテーション分類器を統合する行動セグメンテーションモデルを提案する。本研究で用いる時空間CNNは、物体およびその関係性を捉えるための空間部と、時間にわたる物体関係の変化を捉えるための大規模な1次元畳み込みフィルタを用いる時間部から構成される。これらの特徴は、一つの行動から別の行動への遷移をモデル化する半マルコフモデルと併用される。本モデルに対して、従来手法と比較して桁違いに高速な効率的な制約付きセグメンテーション推論アルゴリズムを導入した。本研究で提案するセグメンテーション時空間CNNの有効性を、調理行動および外科手技データセットにおいて検証し、最近のベースライン手法と比較して顕著な性能向上を確認した。