OBoW：自己教師学習を 위한 온라인 시각어휘의 백과화 생성

教師-生徒型の枠組みによる視覚表現の教師なし学習：Bag-of-Visual-Wordsに基づくオンライン学習手法人間の監督なしに画像表現を学習することは、重要なかつ活発な研究分野である。近年のいくつかのアプローチは、異なる種類の摂動に対して表現が不変（invariant）となるようにするというアイデアを有効に活用しており、特に対照的（contrastive）なインスタンス識別学習によって高い性能が達成されている。確かに効果的な視覚表現はこのような不変性を備えるべきであるが、それ以外にも、文脈的推論能力を表現するといった重要な特性が求められる。このような点では、再構成に基づくアプローチがより適している可能性がある。こうした視点から、本研究では、同一画像の摂動版を入力として与えた際に、その画像のBag-of-Visual-Words（BoW）表現を畳み込みニューラルネットワーク（convolutional net）が再構成するように学習させる教師-生徒型の枠組みを提案する。本手法では、教師ネットワーク（BoWターゲットを生成する役割）と生徒ネットワーク（表現を学習する役割）の両方をオンラインで訓練するとともに、BoWターゲットに使用される視覚語彙（visual-words vocabulary）もオンラインで更新する。このアプローチにより、完全にオンラインでBoWにガイドされた教師なし学習が可能となる。広範な実験により、本研究で提案するBoWベースの戦略の有効性が示された。特に、Pascalオブジェクト検出、Pascal分類、Places205分類といった下流タスクにおいて、従来の最先端手法（対照的アプローチを含む）を上回る性能を達成し、新たな最先端（SOTA）結果を確立した。さらに、これらの結果は、教師付き事前学習（supervised pre-training）を用いた手法よりも顕著に優れていることも明らかになった。実装コードは、https://github.com/valeoai/obow にて公開している。