注意を用いたビデオ要約

本研究では、監督型のキーショットベースのビデオサマリ作成のために、概念的に単純で計算効率の高いソフトな自己注意機構を適用する新規手法を提案します。現行の最先端手法は、BiLSTMなどの双方向再帰ネットワークと注意機構を組み合わせていますが、これらのネットワークは完全に接続されたネットワークと比較して実装が複雑で計算量も大きいという問題があります。これを解決するために、我々はビデオサマリ作成に適した単純な自己注意機構に基づくネットワークを提案します。このネットワークは、学習時に一回の前向き伝播と一回の後ろ向き伝播で全系列変換を行います。我々の手法は、この分野で一般的に使用される2つのベンチマークTvSumおよびSumMeにおいて新たな最先端結果を達成しました。