18日前

TempSAL - 深層サリエンシー予測のための時系列情報の解明

{Sabine Süsstrunk, Mathieu Salzmann, Tong Zhang, Ludo Hoffstetter, Bahar Aydemir}
TempSAL - 深層サリエンシー予測のための時系列情報の解明
要約

深層の注目度予測アルゴリズムは、物体認識機能を補完するものであり、通常、シーンの文脈、意味的関係、視線の方向、物体間の相違性といった追加情報に依存している。しかし、これらのモデルの多くは、画像観察における視線移動の時間的特性を考慮していない。本研究では、人間の時間的注目パターンを活用して、時系列的な時間区間ごとに注目度マップを出力することができる新しい注目度予測モデルを提案する。本手法は、学習された時間的マップを組み合わせることで、局所的に注目度予測を調整する。実験の結果、SALICONベンチマークおよびCodeCharts1kデータセットにおいて、複数の時間持続期間を扱う最先端モデルを含む既存手法を上回ることが示された。本研究のコードはGitHub上で公開されている。