HyperAIHyperAI

Command Palette

Search for a command to run...

S2SD:ディープメトリック学習を 위한同時的類似度ベースの自己蒸留

Karsten Roth Timo Milbich Björn Ommer Joseph Paul Cohen Marzyeh Ghassemi

概要

ディープメトリック学習(Deep Metric Learning, DML)は、一般化可能な埋め込み空間を学習することで、視覚的類似性認識およびゼロショット応用において重要なツールを提供している。しかし、近年のDML研究では、さまざまな学習目的において性能の飽和が見られるようになっている。一方で、一般化能力は埋め込み空間の次元数に比例して向上することが知られている。問題は、高次元の埋め込み表現は、下流のアプリケーションにおいて検索コストを著しく増加させることである。この課題を解決するために、本研究では「同時的類似性に基づく自己蒸留(Simultaneous Similarity-based Self-distillation, S2SD)」を提案する。S2SDは、補助的な高次元埋め込み空間および特徴空間から知識蒸留を行うことで、学習中に補完的なコンテキストを活用しつつ、推論時の計算コストを維持し、訓練時間の増加も最小限に抑える。異なる学習目的および標準ベンチマークにおける実験と消去実験の結果から、S2SDはRecall@1において最大7%の顕著な向上を達成し、新たな最先端性能を樹立した。コードは https://github.com/MLforHealth/S2SD にて公開されている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
S2SD:ディープメトリック学習を 위한同時的類似度ベースの自己蒸留 | 記事 | HyperAI超神経