動画理解、すなわち動画内で「誰が何をしたか」を分析するためには、行動と物体が主な要素となる。これまでの行動認識に関する大多数の研究は、事前にトリミングされた動画を対象としており、分類性能の向上に焦点を当ててきた。しかし、実際の動画では行動が時間的・空間的に重複するため、行動検出（認識と局所化の両方を含む）が不可欠である。さらに、多くの既存研究では、既に学習済みのモデルに新たに追加される行動に対する拡張性（extensibility）については考慮されていない。本稿では、汎用的行動と継承的行動の両方を検出する拡張可能な階層的アプローチを提案する。汎用的行動は、物体の運動と2物体間の空間的関係に基づいて定義され、継承的行動はオントロジーとルールベースの手法により関連する物体によって決定される。この階層的設計により、2物体間の空間的関係に基づいた任意のインタラクティブ行動を検出可能となる。物体情報を活用する本手法は、F-値90.27%を達成した。さらに、本研究では、学習に用いたデータセットとは異なる動画ドメインから新たな行動を含む動画に対して、提案手法の拡張性についても検証している。