現在の動画／行動理解システムは、大規模な認識タスクにおいて驚くべき性能を示している。しかし、それらは行動の本質的理解に挑戦するのではなく、空間時間的なパターンを認識するという限界に留まっている可能性がある。より本質的で深層的な動画理解の方向性を促進するため、本研究では「成功／失敗行動認識」という新たなタスクを提案する。このタスクは、さまざまな活動における「成功した試み」と「失敗した試み」を区別することを目的としている。我々は、以下の4つのドメインから構成される、世界初のペア型「成功／失敗行動理解データセット」を提供する：「一般のアクロバット技」、「インターネット上の成功／失敗映像」、「トリックショット」、「パーティーゲーム」。既存の行動認識データセットとは異なり、クラス内変動が非常に高いことから、タスクは挑戦的ではあるが、実現可能である。本研究では、プロトタイプ行動認識ネットワークと新たな動画検索タスクを用いて、成功／失敗タスク／データセットの特性を体系的に分析した。現行の行動認識手法は本タスク／データセットに対して一定の性能を発揮するものの、高い性能を達成するには依然として大きなギャップが存在する。本研究が、行動・動画の真正理解を目指したさらなる研究の促進に貢献することを期待している。データセットは、https://github.com/ParitoshParmar/Win-Fail-Action-Recognition から公開される。