限られたラベル付きデータを用いたスケッチから写真へのリトリーブにおけるインスタンスレベルの異質ドメイン適応

スケッチから写真への検索（sketch-to-photo retrieval）は多様な応用が期待されるが、ペア化された豊富なラベル付き真値データを取得することは費用が高いため、実用上困難である。一方、写真検索データは比較的容易に入手可能である。そのため、従来の手法では、豊富なラベル付き写真検索データ（すなわち、ソースドメイン）上でモデルを事前学習し、その後、ラベルが限られたスケッチから写真への検索データ（すなわち、ターゲットドメイン）上で微調整（fine-tuning）を行うというアプローチが採られている。しかし、ソースドメインとターゲットドメインのデータを同時に学習しない場合、微調整の過程でソースドメインの知識が消失する可能性がある一方、単に両者を同時に学習させると、ドメイン間のギャップによりネガティブな転移（negative transfer）が生じるリスクがある。さらに、ソースデータとターゲットデータの識別子（identity）ラベル空間は一般的に互いに重複しないため、従来のカテゴリレベルのドメイン適応（Domain Adaptation, DA）手法は直接適用できない。これらの課題に対処するために、本研究ではインスタンスレベルの異種ドメイン適応（Instance-level Heterogeneous Domain Adaptation, IHDA）フレームワークを提案する。本手法では、識別子ラベルの学習に微調整戦略を適用し、インスタンスレベルの知識を誘導的（inductive）な形で転移することを目的とする。同時に、ソースデータから選択されたラベル付き属性を用いて、ソースドメインとターゲットドメインの共通ラベル空間を構築する。この共通属性を基準に、ドメイン適応を活用してデータセット間のドメインギャップおよび異種ドメインギャップを補完し、インスタンスレベルの知識を推論的（transductive）な形で転移する。実験の結果、本手法は追加のアノテーションを用いずに、3つのスケッチから写真への画像検索ベンチマークにおいて新たな最良性能（state-of-the-art）を達成した。これにより、ラベルが限られた異種画像検索タスクにおいて、より効果的なモデルの学習が可能になる道が開かれた。関連コードは以下のGitHubリポジトリで公開されている：https://github.com/fandulu/IHDA。