17日前

双曲視覚変換器:メトリック学習の改善を統合する

Aleksandr Ermolov, Leyla Mirvakhabova, Valentin Khrulkov, Nicu Sebe, Ivan Oseledets
双曲視覚変換器:メトリック学習の改善を統合する
要約

メトリック学習は、類似したクラスの埋め込みが選択された距離計測基準において近接し、不類似なクラスの埋め込みは遠く離れるように、高い判別性を持つモデルを学習することを目的とする。一般的なアプローチは、エンコーダを用いて埋め込みを抽出し、表現を一致させるために距離に基づく損失関数を用いることである。通常、ユークリッド距離が使用される。近年、双曲幾何に基づくデータ埋め込みの学習に対する関心が高まっており、自然なデータに対して双曲幾何が有益である可能性が示唆されている。このような研究の流れに従い、本研究では新たな双曲幾何に基づくメトリック学習モデルを提案する。本手法の核となるのは、出力埋め込みを双曲空間にマッピングするビジョン変換器(Vision Transformer)であり、これらの埋め込みは修正されたペアワイズ交差エントロピー損失関数を用いて直接最適化される。提案モデルは、4つのデータセット上で6種類の異なる定式化により評価され、新たなSOTA(最先端)性能を達成した。ソースコードは、https://github.com/htdt/hyp_metric にて公開されている。

双曲視覚変換器:メトリック学習の改善を統合する | 最新論文 | HyperAI超神経