要約
多くの視覚タスクにおける実質的なアプローチは、ImageNet上で教師付き学習によって得られた事前学習済みの視覚表現から始めることである。近年の手法では、ラベルのない画像の大量データにスケール可能な無教師学習による事前学習が検討されている。これに対し、本研究では少ない画像データから高品質な視覚表現を学習することを目指す。そのために、教師付き事前学習の再検討を行い、従来の分類ベースの事前学習に代わるデータ効率的な代替手法を模索する。本研究では、意味的に濃密なキャプションを用いて視覚表現を学習する「VirTex」という事前学習手法を提案する。我々は、COCO Captionsデータセット上で畳み込みネットワークを初期から訓練し、そのモデルを画像分類、物体検出、インスタンスセグメンテーションといった下流の認識タスクに転移学習する。すべてのタスクにおいて、VirTexはImageNet上で学習された教師付きまたは無教師の表現と同等、あるいはそれを上回る特徴量を生成するが、使用する画像数は最大で10分の1程度に抑えることができる。