要約
深い度量学習（Deep Metric Learning: DML）において、情報量の多いネガティブサンプルの抽出は中心的な課題であるが、ミニバッチ学習の制約により、各反復においてアクセス可能なサンプルは常に限定されたミニバッチ内に留まるという課題がある。本論文では、モデルパラメータが学習過程で更新されるにもかかわらず、埋め込み特徴量が極めて緩やかに変化する「スロードリフト（slow drift）」現象を観察し、過去の反復で計算されたインスタンスの特徴量は、現在のモデルによって抽出された特徴量を十分に近似可能であることを明らかにした。これを基に、過去の反復における埋め込み特徴量を記憶する「クロスバッチメモリ（Cross-Batch Memory: XBM）」機構を提案する。このXBMにより、複数のミニバッチにわたる、さらには全体のデータセットにわたる十分なハードネガティブペアを収集することが可能となる。XBMは汎用的なペアベースDMLフレームワークに直接統合可能であり、XBMを拡張したDMLは性能を顕著に向上させる。特に、追加の複雑な構造やチューニングを一切用いずに、単純なコントラスト損失とXBMを組み合わせるだけで、3つの大規模な画像検索データセットにおいてR@1スコアを12%～22.5%まで大幅に向上させ、最も洗練された最新の最先端手法を大きく上回った。本XBMは概念的に単純で、数行のコードで実装可能であり、メモリ効率も高く、追加GPUメモリ消費はわずか0.2GBにとどまる。コードは以下より公開されている：https://github.com/MalongTech/research-xbm。