メトリック学習の統一的相互情報量視点：交差エントロピー損失 vs. 対ごとの損失

近年、深層度量学習（Deep Metric Learning, DML）における研究の大部分は、複雑なペアワイズ距離損失の設計に注力しており、最適化を容易にするために、サンプルマイニングやペアウェイトの導入といった複雑な手法を必要としている。一方で、分類タスクで標準的に用いられるクロスエントロピー損失は、DMLにおいてはほとんど無視されてきた。表面的には、クロスエントロピーはペアワイズ距離を明示的に扱わないため、度量学習とは無関係に思えるかもしれない。しかし、本研究では、クロスエントロピーが既存の代表的なペアワイズ損失と理論的に関連していることを示す。この関係は、二つの異なる視点から導き出される。第一に、明示的な最適化の洞察に基づくアプローチ。第二に、ラベルと学習された特徴量の間の相互情報量（mutual information）に関する判別的・生成的視点。まず、クロスエントロピーが新たなペアワイズ損失の上界であることを明示的に示す。この新しい損失関数は、さまざまな既存のペアワイズ損失と類似した構造を持ち、クラス内距離を最小化しつつクラス間距離を最大化する性質を持つ。したがって、クロスエントロピーの最小化は、このペアワイズ損失を最小化するための近似的な境界最適化（またはマジョライズ・ミニマイン）アルゴリズムとして解釈できる。第二に、より一般的な観点から、クロスエントロピーの最小化は、相互情報量の最大化と本質的に等価であることを示す。これにより、多くの代表的なペアワイズ損失が相互情報量の最大化という共通の目的と結びついていることが明らかになる。さらに、さまざまな標準的なペアワイズ損失が、境界関係を通じて明示的に相互に結びついていることも示した。これらの発見は、サンプルマイニングなどの複雑なヒューリスティクスを必要とせずに、クロスエントロピーが相互情報量の最大化という目的を代理的に達成していることを示している。本研究では、4つの標準的なDMLベンチマークにおいて実験を行い、その結果は本研究の主張を強く支持する。得られた性能は、最近の複雑なDML手法を上回り、最先端の結果を達成した。