17日前
S2SD:ディープメトリック学習を 위한同時的類似度ベースの自己蒸留
Karsten Roth, Timo Milbich, Björn Ommer, Joseph Paul Cohen, Marzyeh Ghassemi

要約
ディープメトリック学習(Deep Metric Learning, DML)は、一般化可能な埋め込み空間を学習することで、視覚的類似性認識およびゼロショット応用において重要なツールを提供している。しかし、近年のDML研究では、さまざまな学習目的において性能の飽和が見られるようになっている。一方で、一般化能力は埋め込み空間の次元数に比例して向上することが知られている。問題は、高次元の埋め込み表現は、下流のアプリケーションにおいて検索コストを著しく増加させることである。この課題を解決するために、本研究では「同時的類似性に基づく自己蒸留(Simultaneous Similarity-based Self-distillation, S2SD)」を提案する。S2SDは、補助的な高次元埋め込み空間および特徴空間から知識蒸留を行うことで、学習中に補完的なコンテキストを活用しつつ、推論時の計算コストを維持し、訓練時間の増加も最小限に抑える。異なる学習目的および標準ベンチマークにおける実験と消去実験の結果から、S2SDはRecall@1において最大7%の顕著な向上を達成し、新たな最先端性能を樹立した。コードは https://github.com/MLforHealth/S2SD にて公開されている。