HyperAIHyperAI

Command Palette

Search for a command to run...

バッチ間メモリを用いた埋め込み学習

Xun Wang Haozhi Zhang Weilin Huang Matthew R. Scott

概要

深い度量学習(Deep Metric Learning: DML)において、情報量の多いネガティブサンプルの抽出は中心的な課題であるが、ミニバッチ学習の制約により、各反復においてアクセス可能なサンプルは常に限定されたミニバッチ内に留まるという課題がある。本論文では、モデルパラメータが学習過程で更新されるにもかかわらず、埋め込み特徴量が極めて緩やかに変化する「スロードリフト(slow drift)」現象を観察し、過去の反復で計算されたインスタンスの特徴量は、現在のモデルによって抽出された特徴量を十分に近似可能であることを明らかにした。これを基に、過去の反復における埋め込み特徴量を記憶する「クロスバッチメモリ(Cross-Batch Memory: XBM)」機構を提案する。このXBMにより、複数のミニバッチにわたる、さらには全体のデータセットにわたる十分なハードネガティブペアを収集することが可能となる。XBMは汎用的なペアベースDMLフレームワークに直接統合可能であり、XBMを拡張したDMLは性能を顕著に向上させる。特に、追加の複雑な構造やチューニングを一切用いずに、単純なコントラスト損失とXBMを組み合わせるだけで、3つの大規模な画像検索データセットにおいてR@1スコアを12%~22.5%まで大幅に向上させ、最も洗練された最新の最先端手法を大きく上回った。本XBMは概念的に単純で、数行のコードで実装可能であり、メモリ効率も高く、追加GPUメモリ消費はわずか0.2GBにとどまる。コードは以下より公開されている:https://github.com/MalongTech/research-xbm


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
バッチ間メモリを用いた埋め込み学習 | 記事 | HyperAI超神経